KR20200015418A - 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체 - Google Patents

순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체 Download PDF

Info

Publication number
KR20200015418A
KR20200015418A KR1020190094065A KR20190094065A KR20200015418A KR 20200015418 A KR20200015418 A KR 20200015418A KR 1020190094065 A KR1020190094065 A KR 1020190094065A KR 20190094065 A KR20190094065 A KR 20190094065A KR 20200015418 A KR20200015418 A KR 20200015418A
Authority
KR
South Korea
Prior art keywords
rhyme
text
sequential
data
speech
Prior art date
Application number
KR1020190094065A
Other languages
English (en)
Inventor
김태수
이영근
Original Assignee
네오사피엔스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네오사피엔스 주식회사 filed Critical 네오사피엔스 주식회사
Priority to PCT/KR2019/009659 priority Critical patent/WO2020027619A1/ko
Publication of KR20200015418A publication Critical patent/KR20200015418A/ko
Priority to US17/004,460 priority patent/US11929059B2/en
Priority to KR1020210184938A priority patent/KR20220000391A/ko
Priority to KR1020230035285A priority patent/KR20230043084A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 개시는 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성(text-to-speech synthesis) 방법에 관한 것이다. 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성은, 입력 텍스트를 수신하는 단계, 순차적 운율(sequential prosody) 특징을 수신하는 단계 및 입력 텍스트 및 수신된 순차적 운율 특징을 인공신경망 텍스트-음성 합성 모델에 입력하여, 수신된 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함한다

Description

순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체{METHOD AND COMPUTER READABLE STORAGE MEDIUM FOR PERFORMING TEXT-TO-SPEECH SYNTHESIS USING MACHINE LEARNING BASED ON SEQUENTIAL PROSODY FEATURE}
본 개시는 순차적 운율 특징을 기초로 기계 학습을 이용한 텍스트-음성 합성 방법 및 시스템에 관한 것이다. 보다 상세하게는, 순차적 운율 특징을 인공신경망 텍스트-음성 합성 모델에 입력하여, 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 텍스트를 생성하는 방법 및 시스템에 관한 것이다.
일반적으로 텍스트-음성 합성 기술(TTS; Text-To-Speech)이라고 불리는 음성 합성 기술은 안내방송, 네비게이션, 인공지능 비서 등과 같이 사람의 음성이 필요한 어플리케이션에서 실제의 음성을 사전에 녹음해 두지 않고 필요한 음성을 재생하기 위해 사용되는 기술이다. 음성 합성의 전형적인 방법은, 음성을 음소 등 아주 짧은 단위로 미리 잘라서 저장해두고, 합성할 문장을 구성하는 음소들을 결합하여 음성을 합성하는 연결 합성 방식(concatenative TTS)와, 음성의 특징을 파라미터로 표현하고 합성할 문장을 구성하는 음성 특징들을 나타내는 파라미터들을 보코더(vocoder)를 이용해 문장에 대응하는 음성으로 합성하는 매개 변수 합성 방식(parametric TTS)이 있다.
한편, 최근에는 인공신경망(artificial neural network) 기반의 음성 합성 방법이 활발히 연구되고 있으며, 이러한 음성 합성 방법에 따라 합성된 음성은, 기존의 방법에 비해 자연스러운 음성 특징을 포함하고 있다. 하지만, 종래의 음성 합성 방법에서, 입력 텍스트의 길이나 참조 음성의 길이와 관계없이, 미리 고정된 길이의 운율 특징만이 적용되어, 합성되는 음성의 특정 시점에서의 운율이 제어될 수 없었다. 그 이유는, 고정된 길이의 특징이 참조 음성에 억지로 적용할 때 시간상 정보의 손실이 일어나는 확률은 상당히 높기 때문이다. 이에 따라, 종래의 음성 합성 방법은 사람들의 의도 또는 감정을 정확히 나타내기 위하여, 합성 음성에 대한 미세한 운율의 제어를 제공할 수 없었다.
또한, 소스 화자의 음의 높이(pitch) 범위와 대상 화자의 음의 높이 사이의 차이가 클 경우, 소스 화자의 운율 특징을 대상 화자로 반영하기 어려울 수 있다. 예를 들어, 소스 화자가 여자이고 대상 화자가 남자인 경우, 소스 화자의 운율을 대상 화자의 음성에 합성하면, 대상 화자의 합성 음성이 보통의 음의 높이 보다 더 높은 음의 높이를 가질 수 있었다. 이러한 사정을 고려하면, 운율 특징을 반영한 합성 음성의 퀄리티를 향상시키기 위하여 인공신경망 모델에 운율 특징을 적용하기 이전에, 운율 특징을 전처리하는 것이 요구될 수 있다.
본 개시에 따른 방법 및 장치는 상기와 같은 문제점을 해결하기 위한 시간에 따른 운율 특징을 가진 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성할 수 있다.
또한, 본 개시에 따른 방법 및 장치는 순차적 운율 특징은 인공신경망 텍스트-음성 합성 모델의 인코더 및 디코더 중 적어도 하나에 입력될 수 있으며, 가변적인 길이의 순차적 운율 특징을 입력 텍스트의 길이 및/또는 합성 음성의 길이에 맞추기 위하여 어텐션(attention) 모듈이 사용될 수 있다.
또한, 본 개시에 따른 방법 및 장치는 순차적 운율 특징에 대응되는 복수의 임베딩 벡터를 정규화하고, 정규화된 복수의 임베딩 벡터를 인공신경망 텍스트-음성 합성 모델에 적용할 수 있다.
본 개시는 방법, 시스템, 장치 또는 명령어들을 저장하는 컴퓨터 판독가능 저장 매체를 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성(text-to-speech synthesis) 방법은 입력 텍스트를 수신하는 단계, 순차적 운율(sequential prosody) 특징을 수신하는 단계 및 입력 텍스트 및 수신된 순차적 운율 특징을 인공신경망 텍스트-음성 합성 모델에 입력하여, 수신된 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법의 인공신경망 텍스트-음성 합성 모델은, 복수의 학습 텍스트 및 복수의 학습 텍스트에 대응하는 학습 음성을 나타내는 데이터에 기초하여 기계학습을 수행하여 생성되고, 학습 음성을 나타내는 데이터는 학습 음성의 순차적 운율 특징을 포함할 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법의 순차적 운율 특징은, 프레임, 글자(character), 음소, 음절 또는 단어 중 적어도 하나의 단위에 대응되는 운율 정보를 시간 순으로 포함하고, 운율 정보는, 소리의 크기에 대한 정보, 소리의 높이에 대한 정보, 소리의 길이에 대한 정보, 소리의 휴지 기간에 대한 정보 또는 소리의 스타일에 대한 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법의 순차적 운율 특징을 수신하는 단계는 순차적인 운율 특징을 나타내는 복수의 임베딩 벡터를 수신하는 단계를 포함하고, 복수의 임베딩 벡터의 각각은 시간 순으로 포함된 운율 정보에 대응될 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법의 인공신경망 텍스트-음성 합성 모델은 인코더 및 디코더를 포함하고, 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법은 수신된 복수의 임베딩 벡터를 어텐션 모듈에 입력하여, 인코더에 제공된 입력 텍스트의 각 부분들과 대응되는 복수의 변환 임베딩 벡터를 생성하는 단계를 더 포함하고, 복수의 변환 임베딩 벡터의 길이는 입력 텍스트의 길이에 따라 가변적이고, 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는, 생성된 복수의 변환 임베딩 벡터를 인공신경망 텍스트-음성 합성 모델의 인코더에 입력하는 단계 및 복수의 변환 임베딩 벡터가 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법의 인공신경망 텍스트-음성 합성 모델은 인코더 및 디코더를 포함하고, 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는, 수신된 복수의 임베딩 벡터를 인공신경망 텍스트-음성 합성 모델의 디코더에 입력하는 단계 및 복수의 임베딩 벡터가 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법은 화자의 발성 특징을 수신하는 단계를 더 포함하고, 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는 화자의 음성을 모사하고 순차적 운율 특징을 나타내는 복수의 임베딩 벡터가 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법의 화자의 발성 특징을 수신하는 단계는 화자의 순차적 운율 특징을 수신하는 단계를 포함하고, 복수의 임베딩 벡터를 추출하는 단계는 화자의 순차적 운율 특징에 기초하여 추출된 복수의 임베딩 벡터를 정규화하는 단계를 포함하고, 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는 화자의 음성을 모사하고 정규화된 복수의 임베딩 벡터가 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법의 추출된 복수의 임베딩 벡터를 정규화하는 단계는, 각 시간 단계에서 화자의 순차적 운율 특징을 나타내는 임베딩 벡터의 평균값을 산출하는 단계 및 추출된 복수의 임베딩 벡터를 각 시간 단계에서 산출된 임베딩 벡터의 평균값으로 감산하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법의 순차적 운율 특징을 수신하는 단계는, 입력 텍스트의 적어도 일부에 대한 운율 정보를 사용자 인터페이스를 통해 수신하는 단계를 포함하고,, 수신된 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는 입력 텍스트의 적어도 일부에 대한 운율 정보가 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 입력 텍스트의 적어도 일부에 대한 운율 정보는 음성 합성 마크업 언어에서 제공되는 태그를 통해 입력될 수 있다.
본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법은 입력 텍스트의 적어도 일부에 대한 운율 정보를 사용자 인터페이스를 통해 수신받는 단계 및 수신된 입력 텍스트의 적어도 일부에 대한 운율 정보를 기초로 수신된 순차적 운율 특징을 변경하는 단계를 더 포함할 수 있고, 수신된 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는, 변경된 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 수신된 순차적 운율 특징을 변경하는데 사용되는, 입력 텍스트의 적어도 일부에 대한 운율 정보는 음성 합성 마크업 언어에서 제공되는 태그를 통해 입력될 수 있다.
또한, 상술한 바와 같은 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법을 구현하기 위한 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
또한, 상술한 바와 같은 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법과 연관된 장치 및 기술적 수단 등이 또한 개시될 수 있다.
본 개시의 일부 실시예들에 따르면, 시간에 따른 운율 정보를 포함하고 가변적인 길이를 가진 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성이 제공되기 때문에, 합성 음성에 대한 미세한 운율의 제어가 가능하여, 음성 합성을 통한 사람의 의도 또는 감정을 보다 정확히 전달할 수 있다.
본 개시의 일부 실시예들에 따르면, 가변적인 길이의 순차적 운율 특징을 인공신경망 텍스트-음성 합성 모델의 인코더 및 디코더 중 적어도 하나에 적용함에 있어서 어텐션을 사용하여 순차적 운율 특징을 입력 텍스트 및/또는 합성 음성의 길이에 대응되도록 조절할 수 있기 때문에, 가변적인 길이의 순차적 운율 특징이 그 길이에 상관없이 입력 텍스트 및/또는 합성 음성에 효과적으로 적용될 수 있다.
본 개시의 일부 실시예에 따르면, 순차적 운율 특징을 인공신경망 텍스트-음성 합성 모델에 적용하기 이전에, 순차적 운율 특징에 대응하는 복수의 임베딩 벡터를 정규화하는 전처리를 수행하기 때문에, 한 사람의 운율 특징을 다른 사람의 합성 음성에 적용하는 경우, 운율 특징이 반영된 합성 음성의 퀄리티를 더욱 향상시킬 수 있다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 음성 합성기에 의해 입력 텍스트 및 순차적 운율 특징을 입력받아 합성 음성을 출력하는 과정을 나타내는 예시도이다.
도 2는 본 개시의 일 실시예에 따른 음성 합성기에 의해 순차적 운율 특징 추출기로부터 추출된 순차적 운율 특징 및 입력 텍스트를 이용하여 합성 음성을 출력하는 과정을 나타내는 예시도이다.
도 3은 본 개시의 일 실시예에 따른 음성 합성기에 의해 순차적 운율 특징 및 화자의 발성 특징을 입력 텍스트에 적용하여 합성 음성을 출력하는 과정을 나타내는 예시도이다.
도 4는 본 개시의 일 실시예에 따른 텍스트-음성 합성 시스템의 블록도이다.
도 5는 본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법을 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 인공신경망 기반의 텍스트-음성 합성 시스템의 구성을 나타내는 예시도이다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 기반의 텍스트-음성 합성 시스템에서, 순차적 운율 특징을 텍스트-음성 합성 시스템의 디코더에 입력하여 합성 음성을 생성하는 과정을 보여주는 예시도이다.
도 8은 본 개시의 일 실시예에 따른 인공신경망 기반의 텍스트-음성 합성 시스템에서, 순차적 운율 특징을 텍스트-음성 합성 시스템의 인코더에 입력하여 합성 음성을 생성하는 과정을 보여주는 예시도이다.
도 9은 본 개시의 일 실시예에 따른 음성 신호 또는 샘플으로부터 순차적 운율 특징을 나타내는 복수의 임베딩 벡터를 추출하도록 구성된 순차적 운율 특징 추출부의 네트워크를 나타내는 예시도이다.
도 10는 본 개시의 일 실시예에 따른 마크업 언어에서 제공되는 태크를 입력 텍스트에 적용하여 합성 음성을 출력하는 텍스트-음성 합성 시스템의 개요도이다.
도 11은 본 개시의 일 실시예에 따른 텍스트-음성 합성 시스템의 블록도이다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 '부' 또는 '모듈'은 프로세서 및 메모리로 구현될 수 있다. 용어 '프로세서' 는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, '프로세서' 는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 '프로세서' 는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
용어 '메모리' 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
본 개시에서, '순차적 운율 특징'은 프레임, 음소, 글자, 음절 또는 단어 중 적어도 하나의 단위에 대응되는 운율 정보를 시간 순으로 포함할 수 있다. 여기서, 운율 정보는 소리의 크기에 대한 정보, 소리의 높이에 대한 정보, 소리의 길이에 대한 정보, 소리의 휴지 기간에 대한 정보 또는 소리의 스타일에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한, 소리의 스타일은 소리 또는 음성이 나타내는 임의의 양식, 방식 또는 뉘앙스를 포함할 수 있으며, 예를 들어, 소리 또는 음성에 내재된 어조, 억양, 감정 등이 포함될 수 있다. 또한 순차적 운율 특징은 복수의 임베딩 벡터로 표현될 수 있는데, 복수의 임베딩 벡터의 각각은 시간 순으로 포함된 운율 정보에 대응될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 개시의 일 실시예에 따른 음성 합성기(110)에 의해 입력 텍스트(120) 및 순차적 운율 특징(130)을 입력받아 합성 음성(140)을 출력하는 과정을 나타내는 예시도이다. 음성 합성기(110)는 인공신경망 텍스트-음성 합성 모델을 이용하여 입력된 텍스트에 대응하는 합성 음성을 출력하도록 구성될 수 있다. 여기서, 인공신경망 텍스트-음성 합성 모델은 단일 인공신경망 텍스트-음성 합성 모델일 수 있다. 일 실시예에서, 음성 합성기(110)는 도 4의 데이터 인식부(455) 및/또는 도 10의 데이터 인식부(1020)에 대응될 수 있다. 또한, 음성 합성기(110)는 사용자 단말기 또는 텍스트-음성 합성 시스템에 포함되거나 제공될 수 있다.
일 실시예에 따르면, 음성 합성기(110)에 입력되는 텍스트는 임의의 인터페이스(미도시)를 통해 수신된 텍스트를 포함할 수 있다. 다른 실시예에 따르면, 음성 인식기(미도시)는 특정 음성을 입력받아, 입력된 음성에 대응하는 문자로 변환할 수 있으며, 변환된 문자를 음성 합성기(110)에 입력 텍스트로서 제공할 수 있다. 이에 따라, 도 1에 도시된 바와 같이, 음성 합성기(110)는 'HELLO'라는 문자를 인터페이스 또는 음성 인식기를 통해 텍스트 입력으로써 수신할 수 있다.
일 실시예에 따르면, 음성 합성기(110)는 순차적 운율 특징을 수신하도록 구성될 수 있다. 여기서, 순차적 운율 특징은 미리 결정된 시간 단위에 따라 각 시간 단위의 운율 정보를 포함할 수 있다. 도 1에 도시된 바와 같이, 순차적 운율 특징은 소리의 높이에 대한 정보를 포함할 수 있으며, 예를 들어, '11113'이라는 시간에 따른 피치(pitch)를 나타내는 정보를 포함할 수 있다. 일 실시예에 따르면, 이러한 순차적 운율 특징은 소리에 대한 운율 특징을 추출할 수 있는 임의의 추출기로부터 추출되거나 결정될 수 있고, 예를 들어, 피치 트랙커(pitch tracker)로부터 추출될 수 있다. 다른 실시예에 따르면, 음성 합성기(110)는 소리에 대한 순차적 운율 정보를 나타내는 임의의 정보를 수신할 수 있으며, 예를 들어, 악보가 나타내는 정보를 수신할 수 있다. 또 다른 실시예에 따르면, 음성 합성기(110)는 임의의 장치로부터 입력된 텍스트에 대한 시간에 따른 음성 합성 마크업 언어(speech synthesis markup language)로 표현된 속성값에 대응하는 순차적인 운율 특징을 수신할 수 있다. 이러한 속성값과 관련하여 이하에서 도 9를 참조하여 상세히 설명된다.
음성 합성기(110)는 수신된 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 데이터를 생성하도록 구성될 수 있다. 이를 위해, 음성 합성기(110)는 순차적 운율 특징이 나타내는 시간 순에 따른 운율 정보를 입력 텍스트에 적용할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 음성 합성기(110)는 입력 텍스트 'HELLO'에 수신된 시간에 따른 피치를 나타내는 정보인 '11113'을 반영하여 출력 음성 데이터를 생성할 수 있다. 즉, 음성 합성기(110)는 입력 텍스트의 마지막 글자(character)인 'o'의 피치를 다른 글자보다 더 높인 의문형 텍스트인 'HELLO?'에 대응하는 출력 음성을 생성할 수 있다. 이렇게 생성된 음성은 스피커 등과 같은 출력 장치를 통해 출력되거나 I/O 장치를 가진 다른 장치로 전송될 수 있다.
도 2는 본 개시의 일 실시예에 따른 음성 합성기(110)에 의해 순차적 운율 특징 추출기(230)으로부터 추출된 순차적 운율 특징(210) 및 입력 텍스트(120)를 이용하여 합성 음성(240)을 출력하는 과정을 나타내는 예시도이다. 일 실시예에서, 순차적 운율 특징 추출기(230)는 도 4의 순차적 운율 특징 추출부(410)에 대응될 수 있다. 입력 텍스트(120) 및 음성 합성기(110)에 대해서는 도 1을 참조하여 설명하였으므로, 중복되는 설명은 생략된다.
일 실시예에 따르면, 순차적 운율 특징 추출기(230)는 음성 신호 또는 음성 샘플(220)을 수신하고, 수신된 음성 신호 또는 샘플로부터 순차적 운율 특징(210)을 추출할 수 있다. 여기서, 수신된 음성 신호 또는 샘플은 순차적 운율 특징(210)과 관련된 정보를 나타내는 음성 스펙트럼 데이터를 포함할 수 있으며, 예를 들어, 멜로디, 특정 화자의 음성 등을 포함할 수 있다.
일 실시예에 따르면, 순차적 운율 특징(210)을 추출하는데 있어서, 음성 신호 또는 샘플(220)로부터 순차적 운율 특징(210)을 추출할 수 있는 임의의 알려진 적절한 특징 추출 방법이 사용될 수 있다. 일 실시예에 따르면, 순차적인 운율 특징을 추출하기 위하여 인공신경망 또는 기계학습 모델이 사용될 수 있다. 예를 들어, 순차적 운율 특징 추출기(230)에 사용되는 인공신경망 또는 기계학습 모델은, RNN(recurrent neural network), LSTM(long short-term memory model), DNN(deep neural network), CNN(convolution neural network) 등을 포함하는 다양한 인공신경망 모델 중의 어느 하나 또는 이들의 조합으로 구성될 수 있다.
순차적 운율 특징 추출기(230)는 수신된 음성 신호 또는 음성 샘플을 인공신경망 운율 특징 모델에 입력하여 순차적인 운율 특징(210)을 나타내는 복수의 특징 벡터(임베딩 벡터)를 추출할 수 있다. 여기서, 복수의 임베딩 벡터의 각각은 미리 결정된 시간 단위(예를 들어, 프레임, 음소, 글자, 음절 또는 단어 등)에 대응될 수 있다. 예를 들어, 이러한 벡터는 MFCC(mel frequency cepstral coefficient), LPC(linear predictive coefficients), PLP(perceptual linear prediction) 등과 같은 다양한 음성 특징 벡터들 중의 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 이렇게 추출된 복수의 임베딩 벡터는 시간 순에 따라 운율 특징 또는 정보를 포함하고 있으므로, 이러한 벡터의 길이는 입력된 음성 샘플의 길이에 따라 가변적이거나 상이할 수 있다.
음성 합성기(110)는 수신된 텍스트(120)에 순차적 운율 특징 추출기(230)로부터 추출된 순차적인 운율 특징(210)을 반영한 음성 출력 데이터를 생성할 수 있다. 예를 들어, 음성 합성기(110)는 입력된 'HELLO' 텍스트에 대응하는 임베딩 정보 및 순차적 운율 특징 추출기(230)에 의해 추출된 복수의 임베딩 벡터를 인공신경망 텍스트-음성 합성 모델에 입력하여 순차적인 운율 특징이 반영된 'HELLO' 음성 데이터를 생성할 수 있다. 이렇게 생성된 음성은 스피커 등과 같은 출력 장치를 통해 출력되거나 I/O 장치를 가진 다른 장치로 전송될 수 있다.도 3은 본 개시의 일 실시예에 따른 순차적 운율 특징(210) 및 화자의 발성 특징(330)을 입력 텍스트(120)에 적용하여 합성 음성을 출력하는 음성 합성기(110)의 개요도이다. 도 3에 도시된 바와 같이, 음성 합성기(110)는 입력 텍스트(120), 순차적 운율 특징(210) 및 화자의 발성 특징(330)을 수신할 수 있다. 여기서, 순차적 운율 특징(210)은 음성 신호 또는 음성 샘플(220)을 기초로 순차적 운율 특징 추출기(230)으로부터 추출될 수 있으며, 화자의 발성 특징(330)은 음성 신호 또는 음성 샘플(320)을 기초로 화자의 발성 특징 추출기(310)으로부터 추출될 수 있다. 일 실시예에 따르면, 순차적 운율 특징 추출기(230)에 입력되는 음성 신호 또는 음성 샘플(220)은 발성 특징 추출기(310)에 입력되는 음성 신호 또는 음성 샘플(320)과 상이할 수 있다. 다른 실시예에서, 두 음성 신호 또는 음성 샘플(220, 320)은 서로 동일할 수 있다. 음성 합성기(110), 입력 텍스트(120), 순차적인 운율 특징(210), 음성 신호 또는 음성 샘플(220) 및 순차적 운율 특징 추출기(230)에 대해서는 도 1 및 도 2를 참조하여 설명하였으므로, 중복되는 설명은 생략된다.
발성 특징 추출기(310)는 음성 데이터로부터 화자의 발성 특징을 추출하도록 구성될 수 있다. 화자의 발성 특징은 그 화자의 음성을 모사하는 것뿐만 아니라, 그 발성을 구성할 수 있는 스타일, 운율, 감정, 음색, 음높이 등 다양한 요소들 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 화자의 발성 특징은 화자를 나타내는 원-핫 화자 ID-벡터를 포함할 수 있다. 다른 실시예에 따르면, 화자의 발성 특징은 화자의 발성 특징을 나타내는 임베딩 벡터를 포함할 수 있다. 일 실시예에서, 발성 특징 추출기(310)는 도 4의 발성 특징 추출부(415)에 대응될 수 있다.
음성 합성기(110)는 입력 텍스트(120), 순차적인 운율 특징(210) 및 화자의 발성 특징(330)을 인공신경망 텍스트-음성 합성 모델에 입력하여 출력 음성(340)을 생성할 수 있다. 출력 음성(340)은 순차적 운율 특징(210) 및 화자의 발성 특징(330)이 반영된 입력 텍스트(120)에 대한 출력 음성 데이터를 포함할 수 있다. 즉, 출력 음성(340)은 화자의 발성 특징을 기초로 해당 화자의 음성을 모사하고 순차적 운율 특징(210)을 반영함으로써, 해당 화자가 입력된 순차적 운율 특징(210)으로 입력 텍스트(120)를 말하는 음성으로 합성된 데이터일 수 있다. 예를 들어, 순차적 운율 특징(210) 및 화자의 발성 특징(330)이 제1 화자 및 제1 화자와 상이한 제2 화자의 음성으로부터 각각 추출된 경우, 제2 화자가 목소리로 제2 화자의 시간에 따른 운율 정보를 기초로 'HELLO'를 말하는 음성이 출력될 수 있다. 이렇게 생성된 음성은 스피커 등과 같은 출력 장치를 통해 출력되거나 I/O 장치를 가진 다른 장치로 전송될 수 있다.
도 2 및 3에서는 음성 합성기(110)가 순차적 운율 특징 추출기(230)으로부터 추출된 순차적인 운율 특징(210)을 나타내는 시간에 따른 복수의 임베딩 벡터를 수신하도록 도시되어 있으나, 이에 한정되지 않으며, 음성 합성기(110)는 순차적 운율 특징(210)을 나타내는 시간에 따른 복수의 임베딩 벡터에 대한 입력값을 I/O 장치(미도시)를 통해 수신할 수 있다. 이와 달리, 순차적 운율 특징(210)을 나타내는 시간에 따른 복수의 임베딩 벡터가 저장매체(미도시)에 미리 저장될 수 있으며, 음성 합성기(110)는 저장매체에 접근하여 복수의 임베딩 벡터를 수신할 수 있다. 또한, 이렇게 추출되거나 저장된 복수의 임베딩 벡터에 대한 수정 정보가 I/O 장치를 통해 수신될 수 있으며, 수신된 수정 정보에 따라 복수의 임베딩 벡터를 수정할 수 있으며, 수정된 복수의 임베딩 벡터가 음성 합성기(110)에 수신될 수 있다.
또한, 도 3에서는, 화자의 발성 특징(330)이 발성 특징 추출기(310) 로부터 추출되어 음성 합성기(110)에 제공되는 것으로 도시되어 있으나, 이에 한정되지 않으며, 음성 합성기(110)는 발성 특징을 나타내는 임베딩 벡터에 대한 입력값을 I/O 장치(미도시)를 통해 수신할 수 있다. 이와 달리, 발성 특징을 나타내는 임베딩 벡터가 저장매체(미도시)에 미리 저장될 수 있으며, 음성 합성기(110)는 저장매체에 접근하여 발성 특징을 나타내는 임베딩 벡터를 수신할 수 있다. 또한, 이렇게 추출되거나 저장된 발성 특징에 대한 수정 정보가 I/O 장치를 통해 수신될 수 있으며, 수신된 정보에 따라 발성 특징을 나타내는 임베딩 벡터가 수정될 수 있으며, 수정된 발성 특징을 나타내는 임베딩 벡터가 음성 합성기(110)에 수신될 수 있다. 도 4는 본 개시의 일 실시예에 따른 텍스트-음성 합성 시스템(400)의 블록도이다. 텍스트-음성 합성 시스템(400)은 통신부(405), 순차적 운율 특징 추출부(410), 발성 특징 추출부(415), 정규화기(420), 음성 데이터베이스(425), 어텐션 모듈(430), 인코더(435), 디코더(440), 후처리 프로세서(445), 데이터 학습부(450), 데이터 인식부(455)를 포함할 수 있다. 통신부(405)는 텍스트-음성 합성 시스템(400)이 외부 장치와 신호 또는 데이터를 송수신하도록 구성될 수 있다. 외부 장치는 텍스트-음성 합성 서비스를 제공하는 사용자 단말을 포함할 수 있다. 이와 달리, 외부장치는 다른 텍스트-음성 합성 시스템을 포함할 수 있다. 또는, 외부 장치는 음성 데이터베이스를 포함한 임의의 장치일 수 있다.
일 실시예에 따르면, 통신부(405)는 외부 장치로부터 텍스트를 수신하도록 구성될 수 있다. 여기서, 텍스트는 인공신경망 텍스트-음성 합성 모델의 학습을 위해 사용될 학습 텍스트를 포함할 수 있다. 이와 달리, 텍스트는 인공신경망 텍스트-음성 합성 모델을 통해 합성 음성을 생성하기 위해 사용될 입력 텍스트를 포함할 수 있다. 이러한 텍스트는 음성 데이터베이스(425), 인코더(435), 디코더(440), 데이터 학습부(450), 데이터 인식부(455) 중 적어도 하나에 제공될 수 있다.
통신부(405)는 외부 장치를 통해 음성 신호 또는 음성 샘플을 수신하도록 구성될 수 있다. 일 실시예에 따르면, 이러한 음성 신호 또는 샘플은 순차적 운율 특징 추출부(410)에 전달되어, 음성 신호 또는 샘플로부터 순차적 운율 특징이 추출될 수 있다. 다른 실시예에 따르면, 이러한 음성 신호 또는 샘플은 발성 특징 추출부(415)에 전달되어, 음성 신호 또는 샘플로부터 화자의 발성 특징이 추출될 수 있다. 이렇게 추출된 순차적 운율 특징 및/또는 화자의 발성 특징은 데이터 학습부(450)를 통해 인코더(435) 및/또는 디코더(440)에 전달되어 인공신경망 텍스트-음성 합성 모델을 학습하는데에 사용될 수 있다. 이와 달리, 이렇게 추출된 순차적 운율 특징 및/또는 화자의 발성 특징은 데이터 인식부(455)를 통해 인코더(435) 및/또는 디코더(440)에 전달되어 인공신경망 텍스트-음성 합성 모델로부터 합성 음성을 생성하는데에 사용될 수 있다.
일 실시예에서, 통신부(405)는 외부 장치부터 순차적 운율 특징을 수신할 수 있다. 예를 들어, 텍스트-음성 합성 시스템(400)은 도 2의 순차적 운율 특징 추출기(230)를 통해 추출된 순차적 운율 특징을 통신부(405)를 통해 수신할 수 있다. 다른 실시예예서, 통신부(405)는 외부 장치로부터 화자의 발성 특징을 수신할 수 있다. 예를 들어, 통신부(405)는 도 3의 화자의 발성 특징 추출기(310)로부터 화자의 발성 특징(330)을 송수신할 수 있다. 이렇게 수신된 순차적 운율 특징 및/또는 화자의 발성 특징은 정규화기(420), 음성 데이터베이스(425), 어텐션 모듈(430), 인코더(435), 디코더(440), 데이터 학습부(450) 또는 데이터 인식부(455) 중 적어도 하나에 제공할 수 있다.
일 실시예에서, 통신부(405)는 외부 장치로부터 입력 텍스트에 대한 운율 정보를 순차적 운율 특징으로서 수신할 수 있다. 여기서, 운율 정보는 입력 텍스트의 각 부분(예를 들어, 음소, 글자, 음절, 어절 등)에 대한 음성 합성 마크업 언어에서 제공되는 태그를 통해 입력된 속성 값을 포함할 수 있다.
일 실시예에 따르면, 통신부(405)는 생성된 출력 음성과 관련된 정보, 즉, 출력 음성 데이터를 외부장치로 송신할 수 있다. 또한, 생성된 인공신경망 텍스트-음성 합성 모델은 통신부(405)를 통해 사용자 단말기 또는 다른 텍스트-음성 합성 시스템에 송신될 수 있다.
도 4에서, 텍스트-음성 합성 시스템(400)은 통신부(405)를 통해 텍스트, 음성 신호 또는 샘플, 순차적 운율 특징 및 화자의 발성 특징 등을 수신하거나 출력 음성 데이터 및 인공신경망 텍스트-음성 합성 모델은 통신부(405)를 통해 출력되는 것으로 도시되어 있으나, 텍스트-음성 합성 시스템(400)은 입출력장치(I/O 장치; 미도시)를 더 포함할 수 있다. 이에 따라, 텍스트-음성 합성 시스템(400)은 사용자로부터 입력을 직접 수신할 수 있으며, 사용자에게 텍스트, 음성, 영상 중 적어도 하나를 출력할 수 있다.
순차적 운율 특징 추출부(410)는 통신부(405) 또는 입출력장치를 통해 음성 신호 또는 샘플을 수신하고, 수신된 음성 신호 또는 샘플로부터 순차적 운율 특징을 추출하도록 구성될 수 있다. 일 실시예에서, 순차적 운율 특징 추출부(410)는 도 2 및 3의 순차적 운율 특징 추출기(230)에 대응될 수 있다. 예를 들어, 순차적 운율 특징 추출부(410)는 멜 주파수 셉스트럴(MFC)과 같은 음성 처리 방법을 이용하여 수신된 음성 신호 또는 샘플로부터 순차적 운율 특징을 추출할 수 있다. 이와 달리, 음성 샘플을 이용하여 학습된 운율 특징 추출 모델(예를 들어, 인공신경망)에 입력하여 순차적 운율 특징이 추출될 수 있다. 예를 들어, 순차적 운율 특징은 시간에 따라 일정 단위에 대응하는 복수의 임베딩 벡터로 나타낼 수 있다. 여기서, 일정 단위는 프레임, 음소, 글자, 음절, 단어, 어절 등 적어도 하나의 단위에 대응될 수 있다. 다른 실시예에 따르면, 순차적 운율 특징 추출부(410)는 비디오, 음악 또는 악보에 대한 정보 중 적어도 하나를 수신할 수 있고, 수신된 비디오, 음악 및/또는 악보로부터 순차적 운율 특징을 추출하도록 구성될 수 있다. 일 실시예에 따르면, 순차적 운율 특징을 나타내는 복수의 임베딩 벡터에 대한 수정 정보가 I/O 장치(미도시)를 통해 수신될 수 있으며, 수신된 정보를 통해 복수의 임베딩 벡터가 수정될 수 있다.
추출되거나 수정된 순차적 운율 특징은 데이터 학습부(450) 및/또는 데이터 인식부(455)에 제공되어 인코더(414) 및/또는 디코더(440) 중 적어도 하나에 제공될 수 있다. 일 실시예에 따르면, 순차적 운율 특징은 데이터 학습부(450) 및/또는 데이터 인식부(455)에 제공되기 이전에, 정규화기(420) 및/또는 어텐션 모듈(430)에 제공될 수 있다. 일 실시예에 따르면, 순차적 운율 특징 추출부(410)로부터 추출된 순차적 운율 특징은 저장매체(예를 들어, 음성 데이터베이스(425)) 또는 외부 저장 장치에 저장될 수 있다. 이에 따라, 입력 텍스트에 대한 음성 합성 시, 저장매체에 미리 저장된 복수의 순차적 운율 특징 중 하나 이상을 선택 또는 지정될 수 있고, 선택 또는 지정된 순차적 운율 특징이 음성 합성에 이용될 수 있다.
발성 특징 추출부(415)는 화자의 음성 신호(예를 들어, 음성 샘플)을 수신하고, 수신된 음성 신호로부터 화자의 발성 특징을 추출하도록 구성될 수 있다. 여기서, 추출된 발성 특징은 화자를 모사하고, 화자의 음성에 포함된 임의의 특징을 포함할 수 있고, 예를 들어, 복수의 임베딩 벡터로 표현될 수 있다. 화자의 발성 특징을 추출하는데 있어서, 화자의 음성 신호로부터 발성 특징을 추출할 수 있는 임의의 알려진 적절한 특징 추출 방법이 사용될 수 있다. 예를 들어, 발성 특징 추출부(415)는 인공신경망 또는 기계학습 모델을 이용하여 음성 샘플로부터 화자의 발성 특징을 추출할 수 있다. 일 실시예에서, 화자의 발성 특징 추출부(415)는 도 3의 화자의 발성 특징 추출기(310)에 대응될 수 있다. 이렇게 추출된 화자의 발성 특징은 데이터 학습부(450), 데이터 인식부(455), 인코더(435) 또는 디코더(440) 중 적어도 하나에 제공될 수 있다.
일 실시예에 따르면, 발성 특징 추출부(415)로부터 추출된 화자의 발성 특징은 음성 데이터베이스(425) 또는 외부 저장 장치에 저장될 수 있다. 이에 따라, 입력 텍스트에 대한 음성 합성 시, 저장매체에 미리 저장된 복수의 화자의 발성 특징 중 하나 이상을 선택 또는 지정될 수 있고, 선택 또는 지정된 화자의 발성 특징이 음성 합성에 이용될 수 있다.
일 실시예에 따르면, 화자의 발성 특징은 화자의 순차적 운율 특징을 포함할 수 있다. 이를 위하여, 예를 들어, 화자의 발성 특징 추출부(415)는 음성 샘플로부터 화자의 순차적 운율 특징을 추출하도록 구성될 수 있다. 또 다른 예로서, 화자의 발성 특징 추출부(415)는 음성 샘플을 순차적 운율 특징 추출부(410)에 제공하여 음성 샘플로부터 추출된 화자의 순차적 운율 특징을 수신할 수 있다. 이렇게 추출된 화자의 순차적 운율 특징은 정규화기(420)에 제공될 수 있다. 도 4에서 순차적 운율 특징 추출부(410) 및 화자의 발성 특징 추출부(415)는 별도의 유닛으로 구성된 것으로 도시되어 있으나, 이에 한정되지 않으며, 하나의 유닛으로 구성될 수 있다.
정규화기(420)는 순차적 운율 특징 추출부(410)으로부터 수신된 순차적 운율 특징 및 발성 특징 추출부(415)로부터 화자의 순차적 운율 특징(복수의 임베딩 벡터)을 화자의 발성 특징으로써 수신할 수 있다. 설명을 위해, 이하에서는 순차적 운율 특징 추출부(410)으로부터 수신된 순차적 운율 특징를 제1 순차적 운율 특징이라고 지칭되고, 발성 특징 추출부(415)로부터 화자의 순차적 운율 특징는 제2 순차적 운율 특징이라고 지칭될 수 있다.
정규화기(420)는 제2 순차적 운율 특징(예를 들어, 복수의 임베딩 벡터)을 기초로 제1 순차적 운율 특징(예를 들어, 복수의 임베딩 벡터)을 정규화하도록 구성될 수 있다. 여기서, 제1 순차적 운율 특징은 제2 순차적 운율 특징과 연관된 화자와 상이한 화자로부터 추출된 특징일 수 있다. 일 실시예에 따르면, 정규화기(420)는 각 시간 단계에서 제2 순차적 운율 특징에 대응하는 복수의 임베딩 벡터의 평균값을 산출하도록 구성될 수 있다. 또한, 정규화기(420)는 제1 순차적 운율 특징을 나타내는 복수의 임베딩 벡터를 각 시간 단계에서 산출된 임베딩 벡터의 평균값으로 감산함으로써, 제1 순차적 운율 특징을 나타내는 복수의 임베딩 벡터를 정규화할 수 있다. 이렇게 정규화된 복수의 임베딩 벡터는 음성 데이터베이스(425), 어텐션 모듈(430), 인코더(435), 디코더(440), 데이터 학습부(450), 또는 데이터 인식부(455) 중 적어도 하나에 제공될 수 있다. 제2 순차적 운율 특징에 대응하는 복수의 임베딩 벡터의 평균값을 이용하여 제1 순차적 운율 특징에 대응하는 복수의 임베딩 벡터가 정규화되므로, 인공신경망 텍스트-음성 합성 모델을 이용하여 제2 순차적 운율 특징에 연관된 화자를 모사하고 다른 화자로부터 추출된 제1 순차적 운율 특징이 반영되도록 임의의 텍스트에 대응하는 합성 음성이 생성되는 경우, 제1 순차적 운율 특징이 상이한 화자의 음성에 더욱 자연스럽게 적용될 수 있다.
음성 데이터베이스(425)는 학습 텍스트 및 복수의 학습 텍스트에 대응되는 음성을 저장할 수 있으며, 이러한 학습 텍스트 및 이에 대응하는 음성음 데이터 학습부(450)에 의해 접근될 수 있다. 학습 텍스트는 적어도 하나의 언어로 작성될 수 있으며, 사람이 이해할 수 있는 단어, 구문 및 문장 중 적어도 하나를 포함할 수 있다. 또한, 음성 데이터베이스(425)에 저장된 음성은 복수의 화자가 학습 텍스트를 읽은 음성 데이터를 포함할 수 있다. 학습 텍스트 및 음성 데이터는 음성 데이터베이스(425)에 미리 저장되어 있거나, 통신부(405)로부터 수신될 수 있다. 음성 데이터베이스(425)가 저장하고 있는 학습 텍스트 및 음성에 기초하여 데이터 학습부(450)는 인공신경망 텍스트-음성 합성 모델을 생성하거나 학습할 수 있다. 예를 들어, 인공신경망 텍스트-합성 모델은 인코더(435) 및 디코더(440)를 포함할 수 있다. 또 다른 예로서, 인공신경망 텍스트-합성 모델은 인코더(435), 디코더(440) 및 후처리 프로세서(445)를 포함할 수 있다.
일 실시예에 따르면, 음성 데이터베이스(425)는 하나 이상의 순차적 운율 특징을 저장하도록 구성될 수 있다. 예를 들어, 하나 이상의 순차적 운율 특징은 정규화기(420)으로부터 정규화된 순차적 운율 특징을 포함할 수 있다. 다른 실시예에서, 발성 특징 추출부(415)로부터 추출된 하나 이상의 화자의 발성 특징을 저장하도록 구성될 수 있다. 저장된 순차적 운율 특징은 데이터 학습부(450) 및/또는 데이터 인식부(455)에 의해 음성 합성 시 인코더(435) 또는 디코더(440) 중 적어도 하나에 제공될 수 있다. 또한, 저장된 화자의 발성 특징은 데이터 학습부(450) 및/또는 데이터 인식부(455)에 의해 음성 합성 시 인코더(435) 또는 디코더(440) 중 적어도 하나에 제공될 수 있다.
어텐션 모듈(430)은 순차적 운율 특징 추출부(410) 또는 정규화기(420)으로부터 순차적 운율 특징 또는 정규화된 순차적 운율 특징을 수신할 수 있다. 일 실시예에 따르면, 어텐션 모듈(430)은 순차적 운율 특징을 나타내는 복수의 임베딩 벡터를 입력받아서, 인코더(435)에 제공 된 입력 텍스트의 각 부분에 대응되는 복수의 변환 임베딩 벡터를 생성하도록 구성될 수 있다. 예를 들어, 어텐션 모듈(430)은 시간에 따른 복수의 임베딩 벡터 중 어떤 부분이 현재 시간-단계(time-step)에서 입력 텍스트 중 어떤 부분에 대응시킬지 결정하도록 구성될 수 있다. 어텐션 모듈(430)에 의해 생성된 복수의 변환 임베딩 벡터는 음성 합성을 위해 인코더(435)에 제공될 수 있다.
인코더(435)는 입력 텍스트를 수신할 수 있으며, 입력 텍스트를 문자 임베딩으로 변환하여 생성하도록 구성될 수 있다. 예를 들어, 인코더(435)는 인공신경망 텍스트-음성 합성 모델의 일부로서 구성될 수 있다. 이러한 문자 임베딩은 인코더(435)에 대응하는 제1 인공신경망 텍스트-음성 합성 모델(예를 들어, pre-net, CBHG 모듈, DNN, CNN+DNN 등)에 입력하여 인코더(435)의 숨겨진 상태들을 생성할 수 있다. 제1 인공신경망 텍스트-음성 합성 모델은 인공신경망 텍스트-음성 합성 모델에 포함될 수 있다. 일 실시예에 따르면, 인코더(435)는 순차적 운율 특징 추출부(410), 정규화기(420) 또는 어텐션 모듈(430)으로부터 순차적 운율 특징을 더 수신할 수 있다. 문자 임베딩 및 순차적 운율 특징은 제1 인공신경망 텍스트-음성 합성 모델에 입력되어 인코더(435)의 숨겨진 상태들(hidden states)이 생성될 수 있다. 다른 실시예에서, 인코더(435)는 발성 특징 추출부(415)로부터 화자의 발성 특징을 더 수신할 수 있다. 화자의 발성 특징은 문자 임베딩 및 순차적 운율 특징과 함께 제1 인공신경망 텍스트-음성 합성 모델에 입력되어 인코더(435)의 숨겨진 상태들(hidden states)이 생성될 수 있다. 이렇게 생성된 인코더(435)의 숨겨진 상태들은 디코더(440)에 제공될 수 있다.
디코더(440)는 인공신경망 텍스트-음성 합성 모델의 일부로서 구성될 수 있다. 일 실시예에서, 디코더(440)는 순차적 운율 특징을 수신하도록 구성될 수 있다. 디코더(440)는 순차적 운율 특징 추출부(410) 또는 정규화기(420) 중 적어도 하나로부터 순차적 운율 특징을 수신할 수 있다. 디코더(440)는 인코더(435)로부터 입력 텍스트에 대응한 숨겨진 상태들을 수신할 수 있다. 또한, 디코더(440)는 현재 시간-단계(time-step)에서 입력 텍스트 중 어떤 부분으로부터 음성을 생성할지 결정하도록 구성된 어텐션 모듈을 포함할 수 있다. 이에 따라, 순차적 운율 특징 및/또는 입력 텍스트에 대응한 숨겨진 상태들은 디코더(440)에 대응하는 제2 인공신경망 텍스트-음성 합성 모델(예를 들어, 어텐션 모듈, 디코더 RNN, 어텐션 RNN, Pre-net, DNN 등)에 입력되어 입력 텍스트에 대응되는 출력 음성 데이터가 생성될 수 있다. 제2 인공신경망 텍스트-음성 합성 모델은 인공신경망 텍스트-음성 합성 모델에 포함될 수 있다.
다른 실시예에서, 디코더(440)는 발성 특징 추출부(415)로부터 화자의 발성 특징을 더 수신하도로 구성될 수 있다. 순차적 운율 특징, 입력 텍스트에 대응한 숨겨진 상태들 및/또는 화자의 발성 특징은 디코더(440)에 대응하는 제2 인공신경망 텍스트-음성 합성 모델에 입력되어 입력 텍스트에 대응되는 출력 음성 데이터가 생성될 수 있다. 이러한 출력 음성 데이터는 화자의 음성을 모사하고 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 포함할 수 있다.
이렇게 생성된 출력 음성 데이터는 멜 스펙트로그램으로 표현될 수 있다. 하지만 이에 한정되는 것은 아니며, 출력 음성 데이터는 선형 스펙트로그램으로 표현될 수 있다. 이러한 출력 음성 데이터는 스피커, 후처리 프로세서(445) 또는 통신부(405) 중 적어도 하나로 출력될 수 있다.
일 실시예에 따르면, 후처리 프로세서(445)는 디코더(440)에서 생성된 출력 음성 데이터를 스피커에서 출력 가능한 음성으로 변환하도록 구성될 수 있다. 예를 들어, 변화된 출력 가능한 음성은 웨이브폼(waveform)으로 나타낼 수 있다. 후처리 프로세서(445)는 디코더(440)에서 생성된 출력 음성 데이터가 스피커에서 출력되기에 부적절한 경우에만 작동하도록 구성될 수 있다. 즉, 디코더(440)에서 생성된 출력 음성 데이터가 스피커에서 출력되기에 적절한 경우, 출력 음성 데이터는 후처리 프로세서(445)를 거치지 않고 바로 스피커로 출력될 수 있다. 이에 따라, 도 4에서는 후처리 프로세서(445)가 텍스트-음성 합성 시스템(400)에 포함되도록 도시되어 있지만, 후처리 프로세서(445)가 텍스트-음성 합성 시스템(400)에 포함되지 않도록 구성될 수 있다.
일 실시예에 따르면, 후처리 프로세서(445)는 디코더(440)에서 생성된 멜 스펙트로그램으로 표현된 출력 음성 데이터를 시간 도메인의 웨이브폼으로 변환하도록 구성될 수 있다. 또한, 후처리 프로세서(445)는 출력 음성 데이터의 신호의 크기가 미리 결정된 기준 크기에 도달하지 못한 경우, 출력 음성 데이터의 크기를 증폭시킬 수 있다. 후처리 프로세서(445)는 변환된 출력 음성 데이터를 스피커 또는 통신부(405) 중 적어도 하나로 출력할 수 있다.
데이터 학습부(450)는 도 10의 데이터 학습부(1010)에 대응될 수 있다. 데이터 학습부(450)는 복수의 학습 텍스트 및 이에 대응하는 학습 음성을 나타내는 데이터를 음성 데이터베이스(425) 또는 통신부(405)를 통해 수신할 수 있다. 학습 텍스트를 나타내는 데이터는 적어도 하나의 글자에 대한 정보를 포함할 수 있다. 예를 들어, 학습 텍스트를 나타내는 데이터는 G2P(Grapheme-to-phoneme) 알고리즘을 사용하여 학습 텍스트에 대응하는 음소 시퀀스(phoneme sequence)를 포함할 수 있다. 학습 음성을 나타내는 데이터는 학습 텍스트를 사람이 읽은 음성을 녹음한 데이터, 그러한 녹음 데이터로부터 추출된 사운드 피처(sound feature), 또는 스펙트로그램(spectrogram) 등일 수 있다. 일 실시예에서, 학습 음성을 나타내는 데이터는 학습 음성의 순차적 운율 특징을 포함할 수 있다. 다른 실시예에서, 학습 음성을 나타내는 데이터는 학습 음성을 발화한 화자의 발성 특징을 더 포함할 수 있다. 데이터 학습부(450)는 복수의 학습 텍스트 및 이에 대응하는 학습 음성에 대응하는 학습 데이터의 쌍을 기초로 기계학습을 수행하여, 인공신경망 텍스트-음성 합성 모델을 생성할 수 있다. 이러한 학습 시, 학습 텍스트는 인공신경망 텍스트-음성 합성 모델의 인코더에 대응하는 제1 인공신경망 텍스트-음성 합성 모델에 제공될 수 있으며, 순차적 운율 특징은 제1 인공신경망 텍스트-음성 합성 모델 및/또는 디코더에 대응하는 제2 인공신경망 텍스트-음성 합성 모델에 입력될 수 있다.
일 실시예예 따르면, 데이터 인식부(455)는 입력 텍스트를 수신하고 순차적 운율 특징을 수신하도록 구성될 수 있다. 입력 텍스트 및 순차적 운율 특징을 인공신경망 텍스트-음성 합성 모델에 입력하여 수신된 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성할 수 있다. 여기서, 입력 텍스트는 제1 인공신경망 텍스트-음성 합성 모델에 제공될 수 있으며, 순차적 운율 특징은 제1 인공신경망 텍스트-음성 합성 모델 및/또는 제2 인공신경망 텍스트-음성 합성 모델에 입력될 수 있다. 그 결과, 순차적 운율 특징이 반영된 입력 텍스트에 대응하는 출력 음성 데이터가 인공신경망 텍스트-음성 합성 모델로부터 생성될 수 있다. 다른 실시예에 따르면, 데이터 인식부(455)는 화자의 발성 특징을 더 수신하도록 구성될 수 있다. 수신된 화자의 발성 특징은 순차적 운율 특징과 마찬가지로 제2 인공신경망 텍스트-음성 합성 모델에 제공될 수 있다. 이러한 동작 하에서, 화자의 음성을 모사하고 순차적 운율 특징이 반영된 입력 텍스트에 대응하는 출력 음성 데이터가 인공신경망 텍스트-음성 합성 모델로부터 생성될 수 있다.
도 5는 본 개시의 일 실시예에 따른 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법을 나타내는 흐름도이다. 먼저, S510에서, 텍스트 음성-합성 시스템(400)은 복수의 학습 텍스트 및 복수의 학습 텍스트에 대응되는 음성 데이터에 기초하여 기계학습을 수행하여 생성된 인공신경망 텍스트-음성 합성 모델을 생성하는 단계를 수행할 수 있다. 여기서, 인공신경망 텍스트-음성 합성 모델은 단일 인공신경망 텍스트-음성 합성 모델일 수 있다.
텍스트-음성 합성 시스템(400)은 S520에서, 입력 텍스트를 수신하는 단계를 수행할 수 있다. 단계 S530에서, 텍스트-음성 합성 시스템(400)은 순차적 운율 특징을 수신하는 단계를 수행할 수 있다. 텍스트-음성 합성 시스템(400)은 입력 텍스트 및 순차적 운율 특징을 미리 학습된 텍스트-음성 합성 모델에 입력하여, 순차적 운율 특징이 반영된 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 S540에서 수행할 수 있다.
도 6은 본 개시의 일 실시예에 따른 인공신경망 기반의 텍스트-음성 합성 시스템의 구성을 나타내는 예시도이다. 일 실시예에서, 인코더(610) 및 디코더(620) 및 후처리 프로세서(630)의 각각은 도 4의 인코더(435), 디코더(440) 및 후처리 프로세서(445)의 각각에 대응할 수 있다.
일 실시예에 따르면, 인코더(610)는 도 6에 도시된 바와 같이, 입력 텍스트에 대한 글자 임베딩을 수신할 수 있다. 다른 실시예에 따르면, 입력 텍스트는 하나 이상의 언어에서 사용되는 단어, 문구 또는 문장 중 적어도 하나를 포함할 수 있다. 예를 들어, 'HELLO' 등과 같은 문장과 같은 텍스트를 입력받을 수 있다. 입력 텍스트가 수신되면, 인코더(610)는 수신된 입력 텍스트를 자모단위, 글자단위, 음소(phoneme) 단위로 분리할 수 있다. 또 다른 실시예에 따르면, 인코더(610)는 자모단위, 글자단위, 음소(phoneme) 단위로 분리된 입력 텍스트를 수신할 수 있다. 그리고 나서, 인코더(610)는 입력 텍스트를 문자 임베딩(character embedding)로 변환하여 생성할 수 있다.
인코더(610)는 텍스트를 발음 정보로 생성하도록 구성될 수 있다. 일 실시예에서, 인코더(610)는 생성된 문자 임베딩을 완전연결층(fully-connected layer)을 포함한 프리넷(pre-net)에 통과시킬 수 있다. 또한, 인코더(610)는 프리넷(pre-net)으로부터의 출력을 CBHG 모듈에 제공하여, 도 6에 도시된 바와 같이, 인코더의 숨겨진 상태들(encoder hidden states) ei을 출력할 수 있다. 예를 들어, CBHG 모듈은 1차원 컨볼루션 뱅크(1D convolution bank), 맥스 풀링(max pooling), 하이웨이 네트워크(highway network), 양방향 GRU(bidirectional gated recurrent unit)를 포함할 수 있다.
또 다른 실시예에서, 인코더(610)가 입력 텍스트 또는 분리된 입력 텍스트를 수신한 경우, 인코더(610)는 적어도 하나의 임베딩 레이어를 생성하도록 구성될 수 있다. 일 실시예에 따르면, 인코더(610)의 적어도 하나의 임베딩 레이어는 자모단위, 글자단위, 음소(phoneme)단위로 분리된 입력 텍스트에 기초하여 글자 임베딩을 생성할 수 있다. 예를 들어, 인코더(610)는 분리된 입력 텍스트에 기초하여 글자 임베딩을 획득하기 위하여 이미 학습된 기계 학습 모델(예를 들어, 확률 모델 또는 인공신경망 등)을 사용할 수 있다. 나아가, 인코더(610)는 기계 학습을 수행하면서 기계 학습 모델을 갱신할 수 있다. 기계 학습 모델이 갱신되는 경우, 분리된 입력 텍스트에 대한 글자 임베딩도 변경될 수 있다. 인코더(610)는 글자 임베딩을 완전연결층(fully-connected layer)으로 구성된 DNN(Deep Neural Network) 모듈에 통과시킬 수 있다. DNN은 일반적인 피드포워드 레이어(feedforward layer) 또는 선형 레이어(linear layer)를 포함할 수 있다. 인코더(610)는 DNN의 출력을 CNN(convolutional neural network) 또는 RNN(Recurrent Neural Network) 중 적어도 하나가 포함된 모듈에 제공할 수 있으며, 인코더(610)의 숨겨진 상태들을 생성할 수 있다. CNN은 컨볼루션 커널(convolution kernel) 사이즈에 따른 지역적 특성을 포착할 수 있는 반면에, RNN은 장기 의존성(long term dependency)을 포착할 수 있다. 이러한 인코더(610)의 숨겨진 상태들, 즉 입력 텍스트에 대한 발음 정보는 어텐션 모듈를 포함한 디코더(620)에 제공되고, 디코더(620)는 이러한 발음 정보를 음성으로 생성하도록 구성될 수 있다.
디코더(620)는, 인코더(610)로부터 인코더의 숨겨진 상태들 ei를 수신할 수 있다. 일 실시예에서, 도 6에 도시된 바와 같이, 디코더(620)는 어텐션 모듈, 완전연결층으로 구성된 프리넷과 GRU(gated recurrnt unit)를 포함하고 어텐션(attention) RNN(recurrent neural network), 레지듀얼 GRU(residual GRU)를 포함한 디코더 RNN(decoder RNN)을 포함할 수 있다. 여기서, 어텐션 RNN은 어텐션 모듈에서 사용될 정보를 출력할 수 있다. 또한, 디코더 RNN은 어텐션 모듈로부터 입력 텍스트의 위치 정보를 수신할 수 있다. 즉, 위치 정보는 디코더(620)가 입력 텍스트의 어떤 위치를 음성으로 변환하고 있는지에 관한 정보를 포함할 수 있다. 디코더 RNN은 어텐션 RNN으로부터 정보를 수신할 수 있다. 어텐션 RNN으로부터 수신한 정보는 디코더(620)가 이전 시간-단계(time-step)까지 어떤 음성을 생성했는지에 대한 정보를 포함할 수 있다. 디코더 RNN은 지금까지 생성한 음성에 이어질 다음 출력 음성을 생성할 수 있다. 예를 들어, 출력 음성은 멜 스펙트로그램 형태를 가질 수 있으며, 출력 음성은 r개의 프레임을 포함할 수 있다.
다른 실시예에서, 디코더(620)에 포함된 프리넷은 완전연결층(fully-connected layer)으로 구성된 DNN으로 대체될 수 있다. 여기서, DNN은 일반적인 피드포워드 레이어(feedforward layer) 또는 선형 레이어(linear layer) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 디코더(620)는 순차적 운율 특징을 수신하도록 구성될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 순차적 운율 특징 추출부(410)는 음성 신호 또는 샘플로부터 순차적 운율 특징을 나타내는 복수의 임베딩 벡터 p1, p2, ... pn(여기서, n은 음성 샘플의 길이에 비례함)를 추출할 수 있다. 복수의 임베딩 벡터의 각각은 단위 시간 별 운율 특징 또는 정보를 포함할 수 있다. 순차적 운율 특징 추출부(410)가 음성 신호 또는 샘플로부터 복수의 임베딩 벡터 p1, p2, ... pn를 디코더에 입력하는 방식은 이하에서 도 7을 참조하여 상세히 설명된다.
일 실시예에서 디코더(620)는 화자의 발성 특징을 더 수신하도록 구성될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 화자의 발성 특징은 화자 ID가 발성 특징 추출부(415)에 입력되어 화자의 발성 특징에 대응하는 화자 임베딩 벡터 e가 화자의 발성 특징으로서 생성될 수 있다. 다른 예로서, 화자의 발성 특징은 화자 ID가 아닌 음성 신호 또는 샘플로부터 화자의 임베딩 벡터를 추출함으로써 생성될 수 있다.
또한 디코더(620)의 어텐션 모듈은 어텐션 RNN으로부터 정보를 수신할 수 있다. 어텐션 RNN으로부터 수신한 정보는 디코더(620)가 이전 시간-단계(time-step)까지 어떤 음성을 생성했는지에 대한 정보를 포함할 수 있다. 또한 디코더(620)의 어텐션 모듈은 어텐션 RNN으로부터 수신한 정보 및 인코더의 정보에 기초하여 컨텍스트 벡터를 출력할 수 있다. 인코더(610)의 정보는 음성을 생성해야 할 입력 텍스트에 대한 정보를 포함할 수 있다. 컨텍스트 벡터는 현재 시간-단계(time-step)에서 입력 텍스트 중 어떤 부분으로부터 음성을 생성할지 결정하기 위한 정보를 포함할 수 있다. 예를 들어, 디코더(620)의 어텐션 모듈은 음성 생성의 초반에는 입력 텍스트의 앞부분에 기초하여 음성을 생성하고, 음성이 생성되어 감에 따라, 점점 입력 텍스트의 뒷부분에 기초하여 음성을 생성하도록 하는 정보를 출력할 수 있다.
디코더(620)는 순차적인 운율 특징 중 시간 단위에 따른 임베딩 벡터인 p1, p2, ... pn의 각각 및 화자 임베딩 벡터 e를 어텐션(attention) RNN 및 디코더(decoder) RNN의 시간 단계 별로 입력하여, 화자 마다 그리고 입력 텍스트의 각 부분 마다 다르게 디코딩하도록 인공신경망의 구조를 구성할 수 있다. 도 6에서는, 복수의 임베딩 벡터 p1, p2, ... pn 가 순차적 운율 특징 추출부(410)으로부터 추출된 것으로 도시되어 있으나, 이에 한정되지 않으며, 디코더(620)는 정규화기(420)으로부터 정규화된 순차적 운율 특징에 대응하는 복수의 임베딩 벡터를 수신할 수 있고, 정규화된 순차적 운율 특징에 대응하는 복수의 임베딩 벡터는 화자의 임베딩 벡터 e와 함께 어텐션 RNN 및 디코더(decoder) RNN의 시간 단계 별로 입력될 수 있다.
더미 프레임들은 이전 시간-단계(time-step)가 존재하지 않는 경우 디코더(620)에 입력되는 프레임이다. RNN은 자동-회귀(autoregressive)로 기계학습을 할 수 있다. 즉, 직전 시간-단계(622)에서 출력된 r 프레임은 현재 시간-단계(623)의 입력이 될 수 있다. 최초 시간-단계(621)에서는 직전 시간-단계가 있을 수 없으므로, 디코더(620)는 최초 시간-단계의 기계 학습 네트워크에 더미 프레임을 입력할 수 있다.
텍스트-음성 합성을 위하여 DNN, 어텐션 RNN 및 디코더 RNN의 동작은 반복적으로 수행될 수 있다. 예를 들어, 최초 시간-단계(621)에서 획득된 r개의 프레임은 다음 시간-단계(622)의 입력이 될 수 있다. 또한 시간-단계(622)에서 출력된 r개의 프레임은 다음 시간-단계(623)의 입력이 될 수 있다.
상술한 바와 같은 과정을 통하여 입력 텍스트를 화자 마다 음성 합성이 가능할 뿐만 아니라 나아가 입력 텍스트에 시간 순으로 각 부분에 대한 운율 특징을 반영할 수 있다. 즉, 입력 텍스트에 대응하는 합성 음성의 특정 시점에서의 운율 특징을 제어하는 것이 가능하다. 이에 따라, 텍스트-음성 합성 시스템은 사람들의 의도 도는 감정을 보다 정확히 전달하기 위하여, 합성 음성에 대한 미세한 운율의 제어가 가능하다.
일 실시예에 따르면, 디코더(620)는 각각의 시간-단계마다 나온 멜 스펙트로그램을 시간 순으로 연결(concatenate)하여 전체 텍스트에 대한 멜 스펙트로그램의 음성을 획득할 수 있다. 전체 텍스트에 대한 멜 스펙트로그램의 음성은 후처리 프로세서(630)로 출력될 수 있다. 예를 들어, 후처리 프로세서(630)는 도 4의 후처리 프로세서(445)에 대응될 수 있다.
일 실시예에 따르면, 후처리 프로세서(630)의 CBHG는 도 6에 도시된 바와 같이, 디코더(620)의 멜 스케일 스펙트로그램을 선형 스펙트로그램(linear-scale spectrogram)으로 변환하도록 구성될 수 있다. 예를 들어, 후처리 프로세서(630)의 CBHG의 출력 신호는 매그니튜드 스펙트로그램(magnitude spectrogram)를 포함할 수 있다. 후처리 프로세서(630)의 CBHG의 출력 신호의 위상(phase)은 그리핀-림(Griffin-Lim) 알고리즘을 통해 복원되고, 역 단시간 퓨리어 변환(inverse short-time fourier transform)될 수 있다. 후처리 프로세서(630)는 시간 도메인(time domain)의 음성 신호로 출력할 수 있다.
다른 실시예에 따르면, 인코더(610)가 CNN 또는 RNN을 포함하도록 구성되면, 후처리 프로세서(630)는 CNN 또는 RNN를 포함하도록 구성되고, 이러한 CNN 또는 RNN은 인코더(610)의 CNN 또는 RNN과 유사한 동작을 수행할 수 있다. 즉, 후처리 프로세서(630)의 CNN 또는 RNN은 지역적 특성과 장기 의존성을 포착할 수 있다. 예를 들어, 후처리 프로세서(630)는 보코더일 수 있다. 이에 따라, 후처리 프로세서(630)의 CNN 또는 RNN은 선형-스케일 스펙트로그램(linear-scale spectrogram)을 출력할 수 있다. 예를 들어, 선형-스케일 스펙트로그램은 크기 스펙트로그램(magnitude spectrogram)를 포함할 수 있다. 후처리 프로세서(630)는 스펙트로그램의 위상(phase)을 Griffin-Lim 알고리즘을 통해 예측할 수 있다. 후처리 프로세서(630)는 역 단기 푸리에 변환(Inverse Short-Time Fourier Transform)을 이용하여 시간 도메인(time domain)의 음성 신호를 출력할 수 있다.
또 다른 실시예에 따르면, 후처리 프로세서(630)는 기계학습모델에 기초하여 멜 스펙트로그램으로부터 음성 신호를 생성할 수 있다. 기계학습모델은 멜 스펙트로그램과 음성 신호 사이의 상관 관계를 기계학습한 모델을 포함할 수 있다. 예를 들어 WaveNet 또는 WaveGlow 등과 같은 인공신경망 모델이 사용될 수 있다.
이러한 인공신경망 기반의 텍스트-음성 합성 시스템은, 학습 텍스트와 음성 신호의 쌍으로 존재하는 대용량의 데이터 베이스를 이용하여 학습될 수 있다. 일 실시예에 따르면, 음성 합성 장치는 텍스트를 수신하고, 출력된 음성 신호를 정답 음성 신호와 비교하여 손실 함수(loss function)을 정의할 수 있다. 음성 합성 장치는 손실 함수를 오차 역전파(error back propagation) 알고리즘을 통해 학습하여, 최종적으로 임의의 텍스트를 입력했을 때 원하는 음성 출력이 나오는 인공신경망을 얻을 수 있다.
이러한 인공신경망 기반의 음성 합성 장치에서, 텍스트, 화자의 발성 특징, 순차적 운율 특징 등이 인공신경망 텍스트-음성 합성 모델에 입력되어 음성 신호가 출력될 수 있다. 텍스트-음성 합성 시스템은 출력된 음성 신호와 정답 음성 신호를 비교하여 학습함으로써, 텍스트, 화자의 발성 특징 및 순차적 운율 특징을 수신할 때 해당 화자의 음성으로 순차적 운율 특징이 반영된 텍스트를 읽는 출력 음성 데이터를 생성할 수 있다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 기반의 텍스트-음성 합성 시스템에서, 순차적 운율 특징을 텍스트-음성 합성 시스템의 디코더(720)에 입력하여 합성 음성을 생성하는 과정을 보여주는 예시도이다. 여기서, 인코더(710), 디코더(720), 순차적 운율 특징 추출부(730) 및 어텐션 모듈(740)의 각각은 도 4의 인코더(435), 디코더(440), 순차적 운율 특징 추출부(410) 및 어텐션 모듈(430)의 각각에 대응될 수 있다. 또한, 인코더(710) 및 디코더(720)는 도 6의 인코더(610) 및 디코더(620)의 각각에 대응될 수 있다. 도 7에서 음성의 길이인 N은 4이고, 텍스트의 길이 T는 3인 것으로 가정하고 도시되었으나, 이에 한정되지 않으며, 음성의 길이인 N 및 텍스트의 길이 T는 서로 상이한 임의의 양수일 수 있다.
일 실시예에 따르면, 도 7에 도시된 바와 같이, 순차적 운율 특징 추출부(730)는 스펙트로그램(y1, y2, y3, yn)을 수신하고, 순차적 운율 특징을 나타내는 복수의 임베딩 벡터(P1, P2, P3, Pn)을 추출하도록 구성될 수 있다. 이렇게 추출된 복수의 임베딩 벡터(P1, P2, P3, Pn)는 디코더(720)에 제공될 수 있다. 예를 들어, 추출된 복수의 임베딩 벡터(P1, P2, P3, Pn)는 디코더(720)의 N개의 디코더 RNN 및 어텐션 RNN에 제공될 수 있다. 또한, 인코더(710)로부터 제공된 숨겨진 상태들(e1, e2, eT)이 어텐션 모듈(740)에 제공될 수 있으며, 어텐션 모듈(740)은 숨겨진 상태들(e1, e2, eT)는 스펙트로그램(P1, P2, P3, Pn)의 길이에 대응되도록 변환 숨겨진 상태들(e'1, e'2, e'3, e'N)을 생성할 수 있다. 생성된 변환 숨겨진 상태들(e'1, e'2, e'3, e'N)은 추출된 복수의 임베딩 벡터(P1, P2, P3, Pn)와 함께 연결되어 N개의 디코더 RNN 및 어텐션 RNN의 각각에서 입력되어 처리될 수 있다. 이러한 디코더(720) 내의 처리 과정은 도 6에서 설명한 처리 과정과 중복되는 과정이므로 자세한 설명은 생략된다. 이러한 과정을 통하여 인코더(710) 및 디코더(720)에 포함된 인공신경망 텍스트-음성 합성 모델을 학습시켜서 순차적 운율 특징이 더욱 자연스럽게 반영되도록 할 수 있다.
도 7에서는 특정 음성을 나타내는 스펙트로그램(y1, y2, y3, yn)가 순차적 운율 특징 추출부(730)에 제공되고, 디코더(620)를 통해 동일한 스펙트로그램(y1, y2, y3, yn)이 출력되는 과정을 설명하고 있으나, 이에 한정되지 않으며, 디코더(720)를 통해 출력되는 음성과 다른 길이의 음성이 순차적 운율 특징 추출부(730)에 입력될 수 있다. 이 경우, 추가적인 어텐션 모듈(미도시)이 순차적 운율 특징 추출부로부터 추출된 복수의 임베딩 벡터를 수신하고 수신된 복수의 임베딩 벡터의 길이를 디코더(720)를 통해 출력되는 음성의 길이에 대응되도록 변환시킬 수 있다. 그리고 나서, 변환된 복수의 임베딩 벡터는 디코더(720)에 제공될 수 있다.
도 8은 본 개시의 일 실시예에 따른 인공신경망 기반의 텍스트-음성 합성 시스템에서, 순차적 운율 특징을 텍스트-음성 합성 시스템의 인코더(820)에 입력하여 합성 음성을 생성하는 과정을 보여주는 예시도이다. 여기서, 어텐션 모듈(810), 인코더(820), 디코더(830) 및 순차적 운율 특징 추출부(840)의 각각은 도 4의 어텐션 모듈(430), 인코더(435), 디코더(440) 및 순차적 운율 특징 추출부(410)의 각각에 대응될 수 있다. 또한, 인코더(810) 및 디코더(820)는 도 6의 인코더(610) 및 디코더(620)의 각각에 대응될 수 있다. 도 8에서 음성의 길이인 N은 4이고, 텍스트의 길이 T는 3인 것으로 가정하고 도시되었으나, 이에 한정되지 않으며, 음성의 길이인 N 및 텍스트의 길이 T는 서로 상이한 임의의 양수일 수 있다.
일 실시예에 따르면, 도 8에 도시된 바와 같이, 순차적 운율 특징 추출부(840)는 스펙트로그램(y1, y2, y3, yn)을 수신하고, 순차적 운율 특징을 나타내는 복수의 임베딩 벡터(P1, P2, P3, Pn)을 추출하도록 구성될 수 있다. 이렇게 추출된 복수의 임베딩 벡터(P1, P2, P3, Pn)는 어텐션 모듈(810)에 제공될 수 있다. 어텐션 모듈(810)은 입력된 복수의 임베딩 벡터(P1, P2, P3, Pn)를 인코더(820)에 대응되는 음소 시퀀스의 길이(T)와 대응되도록 복수의 변환 임베딩 벡터(P1', P2', PT')를 생성하도록 구성될 수 있다. 다른 실시예에 따르면, 순차적 운율 특징 추출부(840)는 음소가 아닌, 단어에 대응되도록 복수의 변환 임베딩 벡터를 생성할 수 있다. 예를 들어, i번째 음소와 j번째 음소가 같은 단어 (v)에 속하는 경우 Pi'=Pj'의 값을 가질 수 있으며, 어텐션 모듈(810)은 단어에 대응하는 복수의 변환 임베딩 벡터(
Figure pat00001
,
Figure pat00002
, ...,
Figure pat00003
)를 생성하도록 구성될 수 있다. 단어의 길이
Figure pat00004
은 N, T와 상이한 임의의 양수일 수 있다.
Figure pat00005
를 구하는 한가지 예시로, 같은 단어에 속하는 음소들의 변환 임베딩 벡터들의 평균을 사용할 수 있으나, 이에 한정되지 않으며, 추가적인 어텐션 모듈 등이 이용될 수 있다.
도 8에 도시된 바와 같이, 이렇게 생성된 복수의 변환 임베딩 벡터(P1', P2', PT')의 각각은 입력 텍스트의 음소 시퀀스에 대응하는 숨겨진 상태들(e1, e2, eT)의 각각에 대응되도록 연결될 수 있다. 이렇게 연결된 숨겨진 상태들(e1, e2, eT)과 복수의 변환 임베딩 벡터(P1', P2', PT')는 디코더(830)에 제공될 수 있다. 이와 달리, 디코더(830)는 이렇게 수신된 숨겨진 상태들(e1, e2, eT)과 변환 임베딩 벡터(P1', P2', PT')를 디코더(830)의 어텐션 모듈, Pre-net, N개의 디코더 RNN 및 어텐션 RNN을 이용하여 음소 시퀀스 y1, y2, y3, yn을 생성할 수 있다. 이와 달리, 단어에 대응하는 복수의 변환 임베딩 벡터(
Figure pat00006
,
Figure pat00007
, ,,,,
Figure pat00008
)가 생성된 경우, 복수의 변환 임베딩 벡터(
Figure pat00009
,
Figure pat00010
, ...,
Figure pat00011
)의 각각은 입력 텍스트의 단어 시퀀스에 대응하는 숨겨진 상태들의 각각에 대응되도록 연결될 수 있다. 이러한 디코더 내의 처리 과정은 도 6에서 설명한 처리 과정과 중복되는 과정이므로 자세한 설명은 생략된다. 이러한 과정을 통하여 인코더(820) 및 디코더(830)에 포함된 인공신경망 텍스트-음성 합성 모델을 학습시켜서 순차적 운율 특징이 더욱 자연스럽게 반영되도록 할 수 있다.
도 9은 본 개시의 일 실시예에 따른 음성 신호 또는 샘플(910)으로부터 순차적 운율 특징을 나타내는 복수의 임베딩 벡터(930)를 추출하도록 구성된 순차적 운율 특징 추출부(920)의 네트워크를 나타내는 예시도이다. 일 실시예에서, 순차적 운율 특징 추출부(920)의 네트워크는 CNN(convolutional neural network), BN(batch-normalization), ReLU(rectifier linear unit) 및 GRU(gated recurrent unit)을 포함할 수 있다. CNN, BN 및 ReLU는 음성 신호 또는 샘플을 입력 받아 그 출력 값을 GRU(gated recurrent unit)에 입력하면, 순차적 운율 특징을 나타내는 복수의 임베딩 벡터를 출력할 수 있다. 예를 들어, 음성 신호 또는 샘플은 log-Mel-spectrogram의 형식으로 수신될 수 있다.
일 실시에서, 데이터 인식부(455)가 음성 합성을 추론하는 경우, 음성 신호 또는 샘플은, 입력 텍스트에 해당하는 음성 데이터일 필요가 없으며 임의로 선택된 음성신호가 사용될 수 있다. 이와 달리, 데이터 학습부(450)가 음성 합성을 학습하는 경우, 음성 신호 또는 샘플은, 입력 텍스트에 대응하는 음성 데이터를 포함할 수 있다.
이러한 네트워크에서, 스펙트로그램이 이용되는데 제약이 없기 때문에 임의의 스펙트로그램이 이 네트워크에 삽입될 수 있다. 또한, 이를 통해 네트워크의 즉각적인 적응을 통해 순차적인 운율 특징을 나타내는 임베딕 벡터(930)를 생성할 수 있다. 음성 신호 또는 샘플로서 입력되는 스펙트로그램은 가변적인 길이를 가질 수 있고, 그 길이에 따라 복수의 임베딩 벡터의 길이가 달라질 수 있다. 도 9에서는 CNN, BN, ReLU 및 GRU를 포함한 네트워크를 도시하고 있으나, 순차적인 운율 특징을 추출하기 위하여 다양한 층을 포함한 네트워크를 구축할 수 있다.
도 10는 본 개시의 일 실시예에 따른 마크업 언어에서 제공되는 태크에 입력된 속성값을 입력 텍스트에 적용하여 합성 음성을 출력하는 텍스트-음성 합성 시스템(1000)의 개요도이다. 일 실시예에서, 텍스트-음성 합성 시스템(1000)은 도 4의 텍스트-음성 합성 시스템(400) 및/또는 도 11의 텍스트-음성 합성 시스템(1100)에 대응될 수 있다.
순차적 운율 정보를 생성, 조절 또는 변경하기 위하여, 텍스트-음성 합성 시스템(1000)은 인터페이스 장치를 통해 텍스트의 적어도 일부분에 대한 운율 정보를 수신할 수 있다. 여기서, 인터페이스 장치는 텍스트-음성 합성 시스템(1000)에 직접 연결되거나 유선 및/또는 무선 통신을 통해 연결된 임의의 인터페이스 장치를 포함할 수 있으며, 예를 들어, 사용자 단말의 인터페이스를 포함할 수 있다. 또한, 텍스트의 적어도 일부분에 대한 운율 정보는 임의의 텍스트를 입력하고 편집할 수 있는 임의의 문서 편집기 또는 음성 편집기를 통해 수신될 수 있다.
일 실시예에 따르면, 음성 합성 시스템(1000)은 임의의 문서 편집기에서 제공되는 임의의 음성 합성 마크업 언어의 태그를 이용하여 입력 텍스트의 각 부분에 대응하는 속성값을 운율 정보로서 수신할 수 있다. 예를 들어, 음성 합성 마크업 언어에서 제공하는 태그는 순차적 운율 특징에 포함된 속성을 나타내기 위한 임의의 태그를 포함할 수 있다. 시작 태그와 종료 태그 사이의 텍스트 부분에 대응하는 운율 정보가 입력될 수 있다. 예를 들어, 도 10에 도시된 바와 같이, '1. <speed=1.5>I'm a boy.</speed>'는 시작 태그와 종료 태그 사이에 있는 I'm a boy라는 부분에 속도를 나타내는 운율 정보를 포함할 수 있다. 또 다른 예로서, 도 10에 도시된 바와 같이, '2. This is what <style=emphasis>I</style>have.'는 시작 태그와 종료 태그 사이에 있는 I라는 글자(character)에 강조를 나타내는 운율 정보를 포함할 수 있다.
텍스트-음성 합성 시스템(1000)은 수신된 입력 텍스트의 적어도 일부분에 대한 운율 정보를 기초로, 순차적 운율 정보를 생성하거나, 입력 텍스트에 대응되는 순차적 운율 정보 중 입력 텍스트에 대응하는 운율 정보를 변경하고, 생성되거나 변경된 순차적 운율 정보이 반영된 입력 텍스트에 대응하는 합성 음성을 생성할 수 있다. 일 실시예에 따르면, 텍스트-음성 합성 시스템(1000)은 기준 순차적 운율 정보에 대응하는 기준 임베딩 벡터에 입력된 입력 텍스트의 각 부분에 대응하는 운율 정보(예를 들어, 속성값)을 적용할 수 있다. 여기서, 기준 임베딩 벡터는 미리 결정된 순차적 운율 특징 정보를 나타내는 복수의 임베딩 벡터를 포함할 수 있다. 예를 들어, 기준 임베딩 벡터는 시간에 따른 운율 특징 벡터를 포함하고 있으며, 각 운율 특징 정보는 서로 직교하는 복수의 서브 임베딩 벡터(예를 들어, 높이, 크기, 길이, 휴지 기간, 스타일 벡터 등)의 가중합으로 나타낼 수 있다. 텍스트-음성 합성 시스템(1000)은 기준 임베딩 벡터의 내재 요소를 분리할 수 있다. 예를 들어, 텍스트-음성 합성 시스템(1000)은 기준 임베딩 벡터에 기초하여 서로 직교하는 복수의 단위 임베딩 벡터를 획득할 수 있다. 일 실시예에 따르면, 임베딩 벡터에 내재된 요소를 분리하는 방법으로는 ICA (independent component analysis), IVA (independent vector analysis), sparse coding, IFA (independent factor analysis), ISA (independent subspace analysis), NMF (nonnegative matrix factorization) 등 다양한 방법이 있을 수 있다. 그리고 임베딩 벡터에 내재된 요소들이 분리가 될 수 있도록, 텍스트-음성 합성 시스템(1000)은 순차적 운율 특징에 대한 임베딩 벡터를 학습할 때 텍스트-음성 합성 시스템의 학습 시 정규화(regularization)를 수행할 수 있다. 이러한 정규화는 도 4의 정규화기(420)를 통해 수행될 수 있다. 텍스트-음성 합성 시스템(1000)이 학습 시 정규화를 수행하여 기계학습을 하는 경우, 기준 임베딩 벡터는 희소 벡터(sparse vector)로 학습될 수 있다. 이에 따라, 텍스트-음성 합성 시스템(900)은 희소 벡터로 학습된 임베딩 벡터에서, PCA(principle component analysis)를 이용하여, 내재된 요소를 정확하게 분리할 수 있다. 이러한 구성 하에서, 텍스트-음성 합성 시스템(1000)은 음성 합성 마크업 언어에서 제공하는 태그 내의 속성값을 기초로 기준 임베딩 벡터를 수정할 수 있다. 예를 들어, 텍스트-음성 합성 시스템(1000)은 수신된 태그 내의 속성값에 기초하여 복수의 단위 임베딩 벡터에 대한 가중치를 변경할 수 있다.
일 실시예에서, 텍스트-음성 합성 시스템(1000)은 수신된 음성 합성 마크업 언어에서 제공하는 태그 내의 속성값을 기초로 기준 임베딩 벡터를 수정하도록 구성될 수 있다. 예를 들어, 텍스트-음성 합성 시스템(1000)은 수신된 속성값에 따라 변경된 가중치를 복수의 단위 임베딩 벡터에 곱하여 더함으로써, 순차적 운율 특징에 대응하는 임베딩 벡터를 재합성할 수 있다. 텍스트-음성 합성 시스템(1000)은 변경된 순차적 운율 특징 정보에 대한 임베딩 벡터를 출력할 수 있다. 텍스트-음성 합성 시스템(1000)은 수정된 임베딩 벡터를 인공신경망 텍스트-음성 합성 모델에 입력하여, 출력 음성 데이터를 음성 합성 마크업 언어에서 제공하는 태그 내의 속성값에 포함된 정보가 반영된 입력 텍스트에 대한 음성 데이터로 변환할 수 있다.
도 11은 본 개시의 일 실시예에 따른 텍스트-음성 합성 시스템(1100)의 블록도이다.
도 11을 참조하면, 일 실시예에 따른 텍스트-음성 합성 시스템(1100)은 데이터 학습부(1110) 및 데이터 인식부(1120)를 포함할 수 있다. 도 11의 텍스트-음성 합성 시스템의 데이터 학습부(1110) 및 데이터 인식부(1120)의 각각은 도 4의 텍스트-음성 합성 시스템(400)이 사용하는 데이터 학습부(450) 및 데이터 인식부(455)의 각각에 대응될 수 있다.
데이터 학습부(1110)는 데이터를 입력하여 기계학습모델을 획득할 수 있다. 또한 데이터 인식부(1120)는 데이터를 기계학습모델에 적용하여 출력 음성을 생성할 수 있다. 상술한 바와 같은 텍스트-음성 합성 시스템(1100)은 프로세서 및 메모리를 포함할 수 있다.
데이터 학습부(1110)는 텍스트에 대한 음성 학습할 수 있다. 데이터 학습부(1110)는 텍스트에 따라 어떤 음성을 출력할지에 관한 기준을 학습할 수 있다. 또한, 데이터 학습부(1110)는 어떤 음성의 특징을 이용하여 음성을 출력할지에 관한 기준을 학습할 수 있다. 음성의 특징은 음소의 발음, 사용자의 어조, 억양 또는 강세 중 적어도 하나를 포함할 수 있다. 데이터 학습부(1110)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 학습모델에 적용함으로써, 텍스트에 따른 음성을 학습할 수 있다.
데이터 인식부(1120)는 텍스트에 기초하여 텍스트에 대한 음성을 출력할 수 있다. 데이터 인식부(1120)는 학습된 데이터 학습모델을 이용하여, 소정의 텍스트로부터 음성을 출력할 수 있다. 데이터 인식부(1120)는 학습에 의한 미리 설정된 기준에 따라 소정의 텍스트(데이터)를 획득할 수 있다. 또한, 데이터 인식부(1120)는 획득된 데이터를 입력 값으로 하여 데이터 학습모델을 이용함으로써, 소정의 데이터에 기초한 음성을 출력할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 학습모델에 의해 출력된 결과 값은, 데이터 학습모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1110) 또는 데이터 인식부(1120) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1110) 또는 데이터 인식부(1120) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 이미 설명한 각종 전자 장치에 탑재될 수도 있다.
또한 데이터 학습부(1110) 및 데이터 인식부(1120)는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1110) 및 데이터 인식부(1120) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1110) 및 데이터 인식부(1120)는 유선 또는 무선으로 통하여, 데이터 학습부(1110)가 구축한 모델 정보를 데이터 인식부(1120)로 제공할 수도 있고, 데이터 인식부(1120)로 입력된 데이터가 추가 학습 데이터로써 데이터 학습부(1110)로 제공될 수도 있다.
한편, 데이터 학습부(1110) 또는 데이터 인식부(1120) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1110) 및 데이터 인식부(1120) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 메모리 또는 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 이와 달리, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
본 개시의 일 실시예에 따른 데이터 학습부(1110)는 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115)를 포함할 수 있다.
데이터 획득부(1111)는 기계학습에 필요한 데이터를 획득할 수 있다. 학습을 위해서는 많은 데이터가 필요하므로, 데이터 획득부(1111)는 복수의 텍스트 및 그에 대응되는 음성을 수신할 수 있다.
전처리부(1112)는 사용자의 심리 상태 판단을 위하여 획득된 데이터가 기계학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1112)는 후술할 모델 학습부(1114)가 이용할 수 있도록, 획득된 데이터를 미리 설정된 포맷으로 가공할 수 있다. 예를 들어 전처리부(1112)는 텍스트 및 음성을 형태소 분석하여 형태소 임베딩을 획득할 수 있다.
학습 데이터 선택부(1113)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1114)에 제공될 수 있다. 학습 데이터 선택부(1113)는 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1113)는 후술할 모델 학습부(1114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1114)는 학습 데이터에 기초하여 텍스트에 따라 어떤 음성을 출력할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1114)는 텍스트에 따라 음성을 출력하는 학습모델을 학습 데이터로써 이용하여 학습시킬 수 있다. 이 경우, 데이터 학습모델은 미리 구축된 모델을 포함할 수 있다. 예를 들어, 데이터 학습모델은 기본 학습 데이터(예를 들어, 샘플 이미지 등)을 입력 받아 미리 구축된 모델을 포함할 수 있다.
데이터 학습모델은, 학습모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 학습모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델을 포함할 수 있다. 예컨대, Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), BRDNN (Bidirectional Recurrent Deep Neural Network), Convolutional Neural Networks (CNN) 등과 같은 모델이 데이터 학습모델로써 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(1114)는 미리 구축된 데이터 학습모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 학습모델을 학습할 데이터 학습모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 학습모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1114)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 학습모델을 학습시킬 수 있다.
또한, 모델 학습부(1114)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 데이터 학습모델을 학습할 수 있다. 또한, 모델 학습부(1114)는, 예를 들어, 별다른 지도없이 상황 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 상황 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 학습모델을 학습할 수 있다. 또한, 모델 학습부(1114)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 학습모델을 학습할 수 있다.
또한, 데이터 학습모델이 학습되면, 모델 학습부(1114)는 학습된 데이터 학습모델을 저장할 수 있다. 이 경우, 모델 학습부(1114)는 학습된 데이터 학습모델을 데이터 인식부(1120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1114)는 학습된 데이터 학습모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 학습모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 '어플리케이션') 등을 포함할 수 있다.
모델 평가부(1115)는 데이터 학습모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1114)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 학습모델을 평가하기 위한 기 설정된 데이터를 포함할 수 있다.
예를 들어, 모델 평가부(1115)는 평가 데이터에 대한 학습된 데이터 학습모델의 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 학습모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1115)는 학습된 데이터 학습모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 학습모델이 복수 개가 존재하는 경우, 모델 평가부(1115)는 각각의 학습된 동영상 학습모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 학습 모델로써 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1115)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 학습 모델로써 결정할 수 있다.
한편, 데이터 학습부(1110) 내의 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 또는 모델 평가부(1115) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 또는 모델 평가부(1115) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 및 모델 평가부(1115) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 또는 모델 평가부(1115) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1111), 전처리부(1112), 학습 데이터 선택부(1113), 모델 학습부(1114) 또는 모델 평가부(1115) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 이와 달리, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
본 개시의 일 실시예에 따른 데이터 인식부(1120)는 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125)를 포함할 수 있다.
데이터 획득부(1121)는 음성을 출력하기 위해 필요한 텍스트를 획득할 수 있다. 반대로 데이터 획득부(1121)는 텍스트를 출력하기 위해 필요한 음성을 획득할 수 있다. 전처리부(1122)는 음성 또는 텍스트를 출력하기 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1122)는 후술할 인식 결과 제공부(1124)가 음성 또는 텍스트를 출력하기 위해 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1123)는 전처리된 데이터 중에서 음성 또는 텍스트를 출력하기 위해 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1124)에게 제공될 수 있다. 인식 데이터 선택부(1123)는 음성 또는 텍스트를 출력하기 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1123)는 모델 학습부(1114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1124)는 선택된 데이터를 데이터 학습모델에 적용하여 음성 또는 텍스트를 출력할 수 있다. 인식 결과 제공부(1124)는 인식 데이터 선택부(1123)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 학습모델에 적용할 수 있다. 또한, 인식 결과는 데이터 학습모델에 의해 결정될 수 있다.
모델 갱신부(1125)는 인식 결과 제공부(1124)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 학습모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1125)는 인식 결과 제공부(1124)에 의해 제공되는 인식 결과를 모델 학습부(1114)에게 제공함으로써, 모델 학습부(1114)가 데이터 학습모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1120) 내의 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 또는 모델 갱신부(1125) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 또는 모델 갱신부(1125) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 및 모델 갱신부(1125) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 또는 모델 갱신부(1125) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1121), 전처리부(1122), 인식 데이터 선택부(1123), 인식 결과 제공부(1124) 또는 모델 갱신부(1125) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 이와 달리, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
일반적으로, 본 명세서에 설명된 텍스트-음성 합성 시스템 및 텍스트-음성 합성 서비스를 제공하는 사용자 단말기는, 무선 전화기, 셀룰러 전화기, 랩탑 컴퓨터, 무선 멀티미디어 디바이스, 무선 통신 PC (personal computer) 카드, PDA, 외부 모뎀이나 내부 모뎀, 무선 채널을 통해 통신하는 디바이스 등과 같은 다양한 타입들의 디바이스들을 나타낼 수도 있다. 디바이스는, 액세스 단말기 (access terminal; AT), 액세스 유닛, 가입자 유닛, 이동국, 모바일 디바이스, 모바일 유닛, 모바일 전화기, 모바일, 원격국, 원격 단말, 원격 유닛, 유저 디바이스, 유저 장비 (user equipment), 핸드헬드 디바이스 등과 같은 다양한 이름들을 가질 수도 있다. 본 명세서에 설명된 임의의 디바이스는 명령들 및 데이터를 저장하기 위한 메모리, 뿐만 아니라 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합들을 가질 수도 있다.
본 명세서에 기술된 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본 명세서의 개시와 연계하여 설명된 다양한 예시 적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 당업자들은 더 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시 적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는 지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현 결정들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들 (digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들 (programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들 (field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.
따라서, 본 명세서의 개시와 연계하여 설명된 다양한 예시 적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성의 조합으로써 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리 (random access memory; RAM), 판독 전용 메모리 (read-only memory; ROM), 불휘발성 RAM (non-volatile random access memory; NVRAM), PROM (programmable read-only memory), EPROM (erasable programmable read-only memory), EEPROM (electrically erasable PROM), 플래시 메모리, 컴팩트 디스크 (compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로써 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 명세서에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.
소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 컴퓨터 판독 가능한 매체를 통해 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하여 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다.
예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본 명세서에서 사용된 디스크 (disk) 와 디스크 (disc)는, CD, 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크들 (disks) 은 보통 자기적으로 데이터를 재생하고, 반면 디스크들 (discs) 은 레이저를 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시 적인 저장 매체는, 프로세가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있도록, 프로세서에 커플링 될 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 존재할 수도 있다. ASIC은 유저 단말 내에 존재할 수도 있다. 대안으로, 프로세서와 저장 매체는 유저 단말에서 개별 컴포넌트들로써 존재할 수도 있다.
본 개시의 앞선 설명은 당업자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 당업자들에게 쉽게 자명할 것이고, 본 명세서에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본 명세서에 설명된 예들에 제한되도록 의도된 것이 아니고, 본 명세서에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
비록 예시 적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
비록 본 주제가 구조적 특징들 및/또는 방법론적 작용들에 특정한 언어로 설명되었으나, 첨부된 청구항들에서 정의된 주제가 위에서 설명된 특정 특징들 또는 작용들로 반드시 제한되는 것은 아님이 이해될 것이다. 오히려, 위에서 설명된 특정 특징들 및 작용들은 청구항들을 구현하는 예시 적인 형태로서 설명된다.
이 명세서에서 언급된 방법은 특정 실시예들을 통하여 설명되었지만, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.
110: 음성 합성기 120: 입력 텍스트
130: 순차적 운율 특징 140: 합성 음성
210: 순차적 운율 특징 220: 음성 신호 또는 음성 샘플
230: 순차적 운율 특징 추출기 240: 합성 음성
310: 발성 특징 추출기 320: 음성 신호 또는 음성 샘플
330: 화자의 발성 특징 340: 출력 음성

Claims (14)

  1. 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성(text-to-speech synthesis) 방법으로서,
    입력 텍스트를 수신하는 단계;
    순차적 운율(sequential prosody) 특징을 수신하는 단계; 및
    상기 입력 텍스트 및 상기 수신된 순차적 운율 특징을 인공신경망 텍스트-음성 합성 모델에 입력하여, 상기 수신된 순차적 운율 특징이 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계
    를 포함하는 텍스트-음성 합성 방법.
  2. 제1항에 있어서,
    상기 인공신경망 텍스트-음성 합성 모델은, 복수의 학습 텍스트 및 상기 복수의 학습 텍스트에 대응하는 학습 음성을 나타내는 데이터에 기초하여 기계학습을 수행하여 생성되고,
    상기 학습 음성을 나타내는 데이터는 상기 학습 음성의 순차적 운율 특징을 포함하는, 텍스트-음성 합성 방법.
  3. 제1항에 있어서,
    상기 순차적 운율 특징은, 프레임, 글자, 음소, 음절 또는 단어 중 적어도 하나의 단위에 대응되는 운율 정보를 시간 순으로 포함하고,
    상기 운율 정보는, 소리의 크기에 대한 정보, 상기 소리의 높이에 대한 정보, 상기 소리의 길이에 대한 정보, 상기 소리의 휴지 기간에 대한 정보 또는 상기 소리의 스타일에 대한 정보 중 적어도 하나를 포함하는, 텍스트-음성 합성 방법.
  4. 제3항에 있어서, 상기 순차적 운율 특징을 수신하는 단계는 상기 순차적 운율 특징을 나타내는 복수의 임베딩 벡터를 수신하는 단계를 포함하고,
    상기 복수의 임베딩 벡터의 각각은 상기 시간 순으로 포함된 운율 정보에 대응되는, 텍스트-음성 합성 방법.
  5. 제4항에 있어서,
    상기 인공신경망 텍스트-음성 합성 모델은 인코더 및 디코더를 포함하고,
    상기 수신된 복수의 임베딩 벡터를 어텐션 모듈에 입력하여, 상기 인코더에 제공된 입력 텍스트의 각 부분들과 대응되는 복수의 변환 임베딩 벡터를 생성하는 단계 - 상기 복수의 변환 임베딩 벡터의 길이는 상기 입력 텍스트의 길이에 따라 가변적임 -를 더 포함하고,
    상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는,
    상기 생성된 복수의 변환 임베딩 벡터를 상기 인공신경망 텍스트-음성 합성 모델의 인코더에 입력하는 단계; 및
    상기 복수의 변환 임베딩 벡터가 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계
    를 포함하는, 텍스트-음성 합성 방법.
  6. 제4항에 있어서,
    상기 인공신경망 텍스트-음성 합성 모델은 인코더 및 디코더를 포함하고,
    상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는,
    상기 수신된 복수의 임베딩 벡터를 상기 인공신경망 텍스트-음성 합성 모델의 디코더에 입력하는 단계; 및
    상기 복수의 임베딩 벡터가 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계
    를 포함하는, 텍스트-음성 합성 방법.
  7. 제4항에 있어서,
    화자의 발성 특징을 수신하는 단계를 더 포함하고,
    상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는 상기 화자의 음성을 모사하고 상기 순차적 운율 특징을 나타내는 복수의 임베딩 벡터가 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함하는, 텍스트-음성 합성 방법.
  8. 제7항에 있어서,
    상기 화자의 발성 특징을 수신하는 단계는 상기 화자의 순차적 운율 특징을 수신하는 단계를 포함하고,
    상기 복수의 임베딩 벡터를 추출하는 단계는 상기 화자의 순차적 운율 특징에 기초하여 상기 추출된 복수의 임베딩 벡터를 정규화하는 단계를 포함하고,
    상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는 상기 화자의 음성을 모사하고 상기 정규화된 복수의 임베딩 벡터가 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함하는, 텍스트-음성 합성 방법.
  9. 제8항에 있어서,
    상기 추출된 복수의 임베딩 벡터를 정규화하는 단계는,
    각 시간 단계에서 상기 화자의 순차적 운율 특징을 나타내는 임베딩 벡터의 평균값을 산출하는 단계; 및
    상기 추출된 복수의 임베딩 벡터를 상기 각 시간 단계에서 산출된 임베딩 벡터의 평균값으로 감산하는 단계
    를 포함하는, 텍스트-음성 합성 방법.
  10. 제1항에 있어서,
    상기 순차적 운율 특징을 수신하는 단계는, 상기 입력 텍스트의 적어도 일부에 대한 운율 정보를 사용자 인터페이스를 통해 수신하는 단계를 포함하고,
    상기 수신된 순차적 운율 특징이 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는 상기 입력 텍스트의 적어도 일부에 대한 운율 정보가 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함하는, 텍스트-음성 합성 방법.
  11. 제10항에 있어서,
    상기 입력 텍스트의 적어도 일부에 대한 운율 정보는 음성 합성 마크업 언어에서 제공되는 태그를 통해 입력되는, 텍스트-음성 합성 방법.
  12. 제1항에 있어서,
    상기 입력 텍스트의 적어도 일부에 대한 운율 정보를 사용자 인터페이스를 통해 수신받는 단계; 및
    상기 수신된 입력 텍스트의 적어도 일부에 대한 운율 정보를 기초로 상기 수신된 순차적 운율 특징을 변경하는 단계를 더 포함하고,
    상기 수신된 순차적 운율 특징이 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계는, 상기 변경된 순차적 운율 특징이 반영된 상기 입력 텍스트에 대한 출력 음성 데이터를 생성하는 단계를 포함하는, 텍스트-음성 합성 방법.
  13. 제12항에 있어서,
    상기 수신된 순차적 운율 특징을 변경하는데 사용되는, 상기 입력 텍스트의 적어도 일부에 대한 운율 정보는 음성 합성 마크업 언어에서 제공되는 태그를 통해 입력되는, 텍스트-음성 합성 방법.
  14. 제1항의 순차적 운율 특징을 이용한 기계학습을 이용한 텍스트-음성 합성 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된, 컴퓨터 판독가능 저장매체.
KR1020190094065A 2018-08-02 2019-08-01 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체 KR20200015418A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2019/009659 WO2020027619A1 (ko) 2018-08-02 2019-08-02 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
US17/004,460 US11929059B2 (en) 2018-08-02 2020-08-27 Method, device, and computer readable storage medium for text-to-speech synthesis using machine learning on basis of sequential prosody feature
KR1020210184938A KR20220000391A (ko) 2018-08-02 2021-12-22 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
KR1020230035285A KR20230043084A (ko) 2018-08-02 2023-03-17 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180090134 2018-08-02
KR20180090134 2018-08-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020210184938A Division KR20220000391A (ko) 2018-08-02 2021-12-22 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
KR1020230035285A Division KR20230043084A (ko) 2018-08-02 2023-03-17 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체

Publications (1)

Publication Number Publication Date
KR20200015418A true KR20200015418A (ko) 2020-02-12

Family

ID=69569751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094065A KR20200015418A (ko) 2018-08-02 2019-08-01 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체

Country Status (2)

Country Link
US (1) US11929059B2 (ko)
KR (1) KR20200015418A (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680494A (zh) * 2020-04-27 2020-09-18 平安科技（深圳）有限公司 相似文本的生成方法及装置
CN111724765A (zh) * 2020-06-30 2020-09-29 上海优扬新媒信息技术有限公司 一种文本转语音的方法、装置及计算机设备
KR102168529B1 (ko) 2020-05-29 2020-10-22 주식회사 수퍼톤 인공신경망을 이용한 가창음성 합성 방법 및 장치
CN113096641A (zh) * 2021-03-29 2021-07-09 北京大米科技有限公司 信息处理方法及装置
KR20220021257A (ko) * 2020-08-13 2022-02-22 국방과학연구소 어텐션 매커니즘을 적용한 음성합성 시스템 및 그 방법
KR20220071525A (ko) * 2020-11-24 2022-05-31 주식회사 자이냅스 어텐션 얼라인먼트의 스코어를 이용하여 스펙트로그램의 품질을 평가하는 방법 및 음성 합성 시스템
KR20220070979A (ko) * 2020-11-23 2022-05-31 서울대학교산학협력단 발화 스타일 인코딩 네트워크 이용한 스타일 음성 합성 장치 및 음성 합성 방법
KR20220071959A (ko) * 2020-11-24 2022-05-31 주식회사 자이냅스 인공지능 기술에 기반한 음성 합성 시스템
US11380300B2 (en) 2019-10-11 2022-07-05 Samsung Electronics Company, Ltd. Automatically generating speech markup language tags for text
WO2022231126A1 (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 전자 장치 및 전자 장치의 프로소디 제어를 위한 tts 모델 생성 방법
WO2022260432A1 (ko) * 2021-06-08 2022-12-15 네오사피엔스 주식회사 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템
KR102486106B1 (ko) * 2021-08-31 2023-01-09 서울대학교산학협력단 자연어로 기술되는 스타일 태그를 활용하여 운율 조절이 가능한 멀티 스타일 음성 합성 시스템

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101333A (ko) * 2019-08-12 2019-08-30 엘지전자 주식회사 음성 인식 장치 및 음성 인식 방법
US11322135B2 (en) * 2019-09-12 2022-05-03 International Business Machines Corporation Generating acoustic sequences via neural networks using combined prosody info
CA3059029A1 (en) * 2019-10-17 2021-04-17 The Toronto-Dominion Bank Maintaining data confidentiality in communications involving voice-enabled devices in a distributed computing environment
KR102392904B1 (ko) * 2020-09-25 2022-05-02 주식회사 딥브레인에이아이 텍스트 기반의 음성 합성 방법 및 장치
US11790884B1 (en) * 2020-10-28 2023-10-17 Electronic Arts Inc. Generating speech in the voice of a player of a video game
US11605388B1 (en) * 2020-11-09 2023-03-14 Electronic Arts Inc. Speaker conversion for video games
CN112802450B (zh) * 2021-01-05 2022-11-18 杭州一知智能科技有限公司 一种韵律可控的中英文混合的语音合成方法及其系统
CN112786009A (zh) * 2021-02-26 2021-05-11 平安科技（深圳）有限公司 语音合成方法、装置、设备及存储介质
CN113129862B (zh) * 2021-04-22 2024-03-12 合肥工业大学 一种基于world-tacotron的语音合成方法、系统及服务器
US20230037892A1 (en) * 2021-07-28 2023-02-09 Xinapse Co., Ltd. Method and apparatus for generating speech training data
CN113838452B (zh) * 2021-08-17 2022-08-23 北京百度网讯科技有限公司 语音合成方法、装置、设备和计算机存储介质
CN113808579B (zh) * 2021-11-22 2022-03-08 中国科学院自动化研究所 生成语音的检测方法、装置、电子设备及存储介质
WO2023102932A1 (zh) * 2021-12-10 2023-06-15 广州虎牙科技有限公司 音频转换方法、电子设备、程序产品及存储介质
CN116543749B (zh) * 2023-07-05 2023-09-15 北京科技大学 一种基于堆栈记忆网络的多模态语音合成方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227589A (ja) 2005-01-20 2006-08-31 Matsushita Electric Ind Co Ltd 音声合成装置および音声合成方法
US7983910B2 (en) 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
KR20170107683A (ko) 2016-03-16 2017-09-26 한국전자통신연구원 딥러닝 기반의 음성 합성 시스템을 위한 피치 동기화 음성 합성 방법
KR20180071029A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 음성 인식 방법 및 장치
US10418025B2 (en) * 2017-12-06 2019-09-17 International Business Machines Corporation System and method for generating expressive prosody for speech synthesis
WO2019217035A1 (en) * 2018-05-11 2019-11-14 Google Llc Clockwork hierarchical variational encoder
WO2019245916A1 (en) * 2018-06-19 2019-12-26 Georgetown University Method and system for parametric speech synthesis
CN109036375B (zh) * 2018-07-25 2023-03-24 腾讯科技（深圳）有限公司 语音合成方法、模型训练方法、装置和计算机设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11380300B2 (en) 2019-10-11 2022-07-05 Samsung Electronics Company, Ltd. Automatically generating speech markup language tags for text
CN111680494A (zh) * 2020-04-27 2020-09-18 平安科技（深圳）有限公司 相似文本的生成方法及装置
KR102168529B1 (ko) 2020-05-29 2020-10-22 주식회사 수퍼톤 인공신경망을 이용한 가창음성 합성 방법 및 장치
CN111724765B (zh) * 2020-06-30 2023-07-25 度小满科技(北京)有限公司 一种文本转语音的方法、装置及计算机设备
CN111724765A (zh) * 2020-06-30 2020-09-29 上海优扬新媒信息技术有限公司 一种文本转语音的方法、装置及计算机设备
KR20220021257A (ko) * 2020-08-13 2022-02-22 국방과학연구소 어텐션 매커니즘을 적용한 음성합성 시스템 및 그 방법
KR20220070979A (ko) * 2020-11-23 2022-05-31 서울대학교산학협력단 발화 스타일 인코딩 네트워크 이용한 스타일 음성 합성 장치 및 음성 합성 방법
KR20220071525A (ko) * 2020-11-24 2022-05-31 주식회사 자이냅스 어텐션 얼라인먼트의 스코어를 이용하여 스펙트로그램의 품질을 평가하는 방법 및 음성 합성 시스템
KR20220071959A (ko) * 2020-11-24 2022-05-31 주식회사 자이냅스 인공지능 기술에 기반한 음성 합성 시스템
CN113096641A (zh) * 2021-03-29 2021-07-09 北京大米科技有限公司 信息处理方法及装置
WO2022231126A1 (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 전자 장치 및 전자 장치의 프로소디 제어를 위한 tts 모델 생성 방법
WO2022260432A1 (ko) * 2021-06-08 2022-12-15 네오사피엔스 주식회사 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템
KR102486106B1 (ko) * 2021-08-31 2023-01-09 서울대학교산학협력단 자연어로 기술되는 스타일 태그를 활용하여 운율 조절이 가능한 멀티 스타일 음성 합성 시스템

Also Published As

Publication number Publication date
US11929059B2 (en) 2024-03-12
US20200394998A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US11929059B2 (en) Method, device, and computer readable storage medium for text-to-speech synthesis using machine learning on basis of sequential prosody feature
KR102401512B1 (ko) 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
KR102265972B1 (ko) 다중 언어 텍스트-음성 합성 모델을 이용한 음성 번역 방법 및 시스템
US10559299B1 (en) Reconciliation between simulator and speech recognition output using sequence-to-sequence mapping
US11373633B2 (en) Text-to-speech processing using input voice characteristic data
KR20230043084A (ko) 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
US11410684B1 (en) Text-to-speech (TTS) processing with transfer of vocal characteristics
JP6777768B2 (ja) 単語ベクトル化モデル学習装置、単語ベクトル化装置、音声合成装置、それらの方法、及びプログラム
US20160379638A1 (en) Input speech quality matching
KR102062524B1 (ko) 음성 인식과 번역 방법 및 그를 위한 단말 장치와 서버
WO2023279976A1 (zh) 语音合成方法、装置、设备及存储介质
Khanam et al. Text to speech synthesis: A systematic review, deep learning based architecture and future research direction
Ajayi et al. Systematic review on speech recognition tools and techniques needed for speech application development
KR102668866B1 (ko) 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
US11887583B1 (en) Updating models with trained model update objects
US20230037892A1 (en) Method and apparatus for generating speech training data
KR20240078628A (ko) 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
Eirini End-to-End Neural based Greek Text-to-Speech Synthesis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101003260; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20211222

Effective date: 20220516

E902 Notification of reason for refusal
S601 Decision to reject again after remand of revocation