KR20040052110A

KR20040052110A - Chorus and a cappella implementing method by TTS

Info

Publication number: KR20040052110A
Application number: KR1020020079840A
Authority: KR
Inventors: 천희진; 나동원; 엄봉수; 경연정
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2004-06-19

Abstract

PURPOSE: A chorus and acappella embodying method using TTS(Text To Speech) is provided to perform multi-output using a multi-thread method and embody an acappella effect using an artificial rhythm generation method of the TTS. CONSTITUTION: A user sets a chorus function or an acappella function in a TTS system(S304). A sentence parsing unit confirms and parses characters included in an inputted sentence(S306). The TTS system judges whether the chorus function is set up(S308). If the chorus function is set up, a rhythm/voice generating unit generates a voice with respect to the parsed sentence(S310). A voice synthesizing unit reads a unit voice from a unit voice DB, and synthesizes the read unit voice with the generated voice(S312). The voice synthesizing unit outputs the synthesized voice through a speaker(S322).

Description

Chorus and a cappella implementing method by TTS

본 발명은 TTS를 이용한 코러스 및 아카펠라 구현방법에 관한 것으로서, 더 상세하게는 TTS 출력에 있어서 다중 스레드(Multi-thread) 방식 등을 이용하여 멀티 출력이 가능하게 하고, TTS의 부자연스러운 운율 생성 방식을 이용하여 아카펠라 효과를 내도록 구현하여 마이벨이나 컬러링(통화연결음)의 음원으로 활용할 수있도록 하는 방법에 관한 것이다.The present invention relates to a chorus and a cappella implementation method using TTS, and more particularly, to enable multi-output using a multi-thread method in TTS output, and to generate an unnatural rhyme generation method of TTS. The present invention relates to a method of implementing a cappella effect by using the same as a sound source of my bell or coloring (call connection sound).

TTS(Text to Speech)는 도움말 파일이나 웹페이지와 같은 컴퓨터 문서(Text)의 내용을 사람이 읽어주는 소리(Speech)로 만들어주는 음성합성 프로그램의 한 종류이다.Text to Speech (TTS) is a type of speech synthesis program that makes the contents of computer text, such as help files or web pages, into human-readable speech.

이러한 TTS를 이용해 시각 장애가 있는 사람들을 위해 컴퓨터 화면에 나타난 정보를 대신 읽어줄 수도 있다.You can also use this TTS to read information on your computer screen for people with visual impairments.

TTS 프로그램들로는 음성으로 내용을 읽어주는 음성 이메일과, 자동 응답 시스템의 음성 안내 기능, 음성 사서함 등이 있다.TTS programs include voice e-mail that reads content by voice, voice prompts from an answering machine, and voice mail.

종래 TTS의 음성 출력은 단순한 음성 출력으로 주어진 문장을 정해진 룰에 따라 음성으로 바꾸어 출력하는 기능만이 있었다.Voice output of the conventional TTS has only a function of converting a given sentence into voice according to a predetermined rule as a simple voice output and outputting the voice.

이를 첨부된 도면 도 1을 참고로 하여 설명하면 다음과 같다.This will be described with reference to the accompanying drawings, Figure 1 as follows.

도 1은 일반적인 TTS 시스템의 구성도이다.1 is a block diagram of a general TTS system.

소정의 언어로 입력된 문장(TexT)은 TTS 엔진(10)에 의해 오디오 웨이브 데이터(Audio Wave Data)로 변환되고, 상기 TTS 엔진(10)에 의해 변환된 오디오 웨이브 데이터는 오디오 처리부(20)에 의해 아날로그 음성으로 변환되고, 상기 오디오 처리부(20)에 의해 변환된 아날로그 음성 신호는 스피커(30)를 통해 음성으로 내보내진다.The sentence TexT input in a predetermined language is converted into audio wave data by the TTS engine 10, and the audio wave data converted by the TTS engine 10 is transmitted to the audio processor 20. Is converted into analog voice, and the analog voice signal converted by the audio processor 20 is output as voice through the speaker 30.

그런데 종래기술에 의한 TTS 시스템은 주어진 문장을 정해진 룰에 따라 음성으로 바꾸어 출력하는 기능밖에 없었다.However, the conventional TTS system had only a function of converting a given sentence into voice according to a predetermined rule and outputting the voice.

본 발명은 종래 TTS 출력 방식을 좀 더 응용, 확대하기 위해 안출된 것으로, 본 발명의 목적은 TTS의 다양한 음색 혹은 단일 음색이라도 멀티 출력이 되도록 하고, 문장 해석에 따른 시스템에 의한 자율적 운율부가로 인하여 아카펠라 효과를 갖게 하는 TTS를 이용한 코러스 및 아카펠라 구현방법을 제공하고자 한다.The present invention has been devised to further apply and expand the conventional TTS output method, and an object of the present invention is to output multiple tones or single tones of TTS, and due to the autonomous rhyme by the system according to sentence interpretation An object of the present invention is to provide a chorus and a cappella implementation method using TTS having an a cappella effect.

본 발명의 다른 목적은 상기한 코러스 및 아카펠라 효과를 이용하여 음성메일이나 카드 음성사서함 뿐만 아니라 마이벨이나 컬러링의 음원으로 할용할 수 있도록 하는 TTS를 이용한 코러스 및 아카펠라 구현방법을 제공하는데 있다.Another object of the present invention is to provide a chorus and a cappella implementation method using TTS that can be used as a voice mail or card voicemail box as well as a mybell or coloring sound source using the chorus and a cappella effect.

상술한 목적을 달성하기 위하여, 본 발명은 문장 분석부, 운율/음성 생성부, 음성 합성부, 단위음성 DB, 운율 합성부로 구성되는 TTS 시스템에서 부가기능을 구현하는 방법에 있어서;In order to achieve the above object, the present invention provides a method for implementing an additional function in a TTS system consisting of a sentence analysis unit, a rhyme / voice generator, a speech synthesizer, a unit speech DB, a rhyme synthesizer;

상기 TTS 시스템에 코러스나 아카펠라 같은 부가기능을 설정하는 단계와, 상기 문장 분석부에서 입력된 문장에 포함된 문자를 확인하여 분석하는 단계와, 상기 TTS 시스템에서 코러스 기능이 설정되어 있는 지 판단하는 단계와, 상기 코러스 기능이 설정되어 있는 경우 운율/음성 생성부에서 분석된 문장에 대한 음성을 생성하는 단계와, 상기 음성 합성부에서 생성된 음성에, 부가기능 설정단계에서 설정한 사람수만큼 단위음성 DB에서 단위음성을 불러와 합성하는 단계와, 상기 합성음을 스피커 등을 통해 출력하는 단계로 구성됨을 특징으로 하는 TTS를 이용한 코러스 및 아카펠라 구현방법을 제공하고자 한다.Setting an additional function such as a chorus or a cappella in the TTS system, checking and analyzing characters included in a sentence input by the sentence analyzing unit, and determining whether a chorus function is set in the TTS system And, if the chorus function is set, generating a voice for the sentence analyzed by the rhyme / voice generation unit, the unit voice by the number of people set in the additional function setting step to the voice generated by the speech synthesis unit It is intended to provide a chorus and a cappella implementation method using TTS, comprising the steps of bringing up unit speech from a DB and synthesizing the same, and outputting the synthesized sound through a speaker.

도 2는 본 발명에 따른 TTS 시스템의 구성도이다.2 is a block diagram of a TTS system according to the present invention.

도 3은 본 발명에 따른 코러스 및 아카펠라 구현방법의 순서도이다.3 is a flow chart of a chorus and a cappella implementation method according to the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

10 : TTS 엔진20 : 오디오 처리부10: TTS engine 20: audio processing unit

30 : 스피커100 : 문장 분석부30: speaker 100: sentence analysis unit

200 : 운율/음성 생성부300 : 음성 합성부200: rhyme / voice generation unit 300: speech synthesis unit

400 : 운율 합성부500 : 단위음성 DB400: rhyme synthesis unit 500: unit voice DB

이하 본 발명의 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을설명하기로 한다.Hereinafter, the configuration and operation of the embodiments of the present invention will be described with reference to the accompanying drawings.

도시된 바와 같이 입력된 문장에 포함된 문자를 하나씩 확인하는 문장 분석부(100)와, 부가 기능의 설정 여부에 따라 문장에 대한 운율이나 음성을 생성하는 운율/음성 생성부(200)와, 상기 운율/음성 생성부(200)에 의해 생성된 음성에 설정된 사람수만큼 단위음성을 합성하여 코러스 기능을 수행하는 음성 합성부(300)와, 아카펠라 기능이 부여된 경우 상기 합성음에 운율을 더해 출력하는 운율 합성부(400)와, 단위음성에 대한 정보가 사람수만큼 다양하게 저장되어 상기 음성 합성부(300)의 요청에 의해 단위음성을 공급하는 단위음성 DB(500)로 구성된다.As shown, the sentence analysis unit 100 for checking the characters included in the input sentence one by one, rhyme / voice generation unit 200 for generating a rhyme or voice for the sentence depending on whether the additional function is set, and the The voice synthesizer 300 performs a chorus function by synthesizing the unit voice by the number of people set in the voice generated by the rhyme / voice generator 200, and when the acapella function is provided, adds a rhyme to the synthesized sound and outputs the result. Rhyme synthesizing unit 400, and the unit voice DB is stored in a variety of information about the unit voice by the number of people to supply the unit voice at the request of the speech synthesis unit 300.

본 발명에 따른 코러스(합창) 기능은 다양한 음색 혹은 단일 음색이라도 멀티 출력이 되도록 한 것으로, 합성음이 단일 출력이 되도록 하는 것이 아니라 음성 합성부(300)와 단위음성 DB(500) 부분의 스레드(Thread)를 지정한 사람수만큼 멀티가 되도록 하여 합성음 또한 설정한 사람수만큼 출력이 되도록 한 것이다.The chorus (chorus) function according to the present invention is to allow a multi-output even a variety of voices or a single voice, rather than a single output of the synthesized sound, the thread of the voice synthesis unit 300 and the unit voice DB (500) ) Is multiplied by the number of people specified, so that the synthesized sound is also output by the number of people set.

상기 코러스 기능은 음성메일이나 카드, 음성 사서함 등의 서비스 이용시 응용할 수 있다.The chorus function can be applied when using services such as voice mail, card, voice mailbox, and the like.

본 발명에 따른 아카펠라 기능은 TTS 시스템의 경우 자연인과 동일한 음성 출력이 불가능한 것을 이용한 것으로, 의미가 있거나 없는 문장 또는 문자를 TTS 시스템의 입력으로 한 경우 운율/음성 생성부(200)에 의한 자동적인 운율정보 생성에 따라 합성음이 출력되고, 이는 원 문장과 상관없이 일정한 운율(아카펠라적 요소)을 갖게 된다.The cappella function according to the present invention uses the same voice output as that of a natural person in the case of the TTS system, and automatically uses the rhyme / voice generation unit 200 when the sentence or character has meaning or no input as the input of the TTS system. As the information is generated, a synthesized sound is output, which has a constant rhyme (capella element) regardless of the original sentence.

상기 운율 합성부(400)는 문장 분석에 따라 운율/음성 생성부(200)에 의해 생성된 운율을 자율적으로 부가하여 아카펠라 효과를 갖게 한다.The rhyme synthesis unit 400 autonomously adds a rhyme generated by the rhyme / voice generator 200 according to sentence analysis to have an a cappella effect.

상기 아카펠라 기능은 개그 음성 메시지나 음성편지, 벨소리, 컬러링의 음원 등에 활용 가능하다.The cappella function can be utilized for a gag voice message or a voice letter, a ringtone, or a sound source for coloring.

먼저 입력수단을 이용하여 사용자는 문장을 입력하고(S302), 부가 기능 즉, 코러스 기능이나 아카펠라 기능의 선택 여부를 설정하고, 코러스 기능을 설정하는 경우 사람수를 설정한다(S304).First, the user inputs a sentence by using the input means (S302), sets whether to select the additional function, that is, the chorus function or a cappella function, and sets the number of people when the chorus function is set (S304).

부가 기능 설정이 완료되면, 문장 분석부(100)는 입력된 문장에 포함된 문자를 하나씩 확인하여 분석한다(S306).When the additional function setting is completed, the sentence analyzing unit 100 checks and analyzes the characters included in the input sentence one by one (S306).

다음 TTS 시시템은 코러스 기능이 설정되어 있는 지 판단하고(S308), 코러스 기능이 설정되어 있으면, 운율/음성 생성부(200)는 분석된 문장에 대한 음성을 생성한다(S310).The next TTS system determines whether the chorus function is set (S308), and if the chorus function is set, the rhyme / voice generator 200 generates a voice for the analyzed sentence (S310).

음성 합성부(300)에서는 생성된 음성에, 부가기능 설정단계(S304)에서 설정한 사람수만큼 단위음성 DB(500)에서 단위음성을 불러와 합성한다(S312).The speech synthesis unit 300 loads and synthesizes unit speech from the unit speech DB 500 by the number of persons set in the additional function setting step S304 in the generated speech (S312).

이때 멀티-스레드(Multi-thread)로 합성 프로세스를 생성하여 최소의 지연(delay)를 갖도록 한다.At this time, the synthesis process is created with multi-threads to have a minimum delay.

합성 프로세스에 의해 생성된 각 합성음을 타 서비스(음성 메일이나 음성 사서함 등)에 이용하기 위해 상대방에게 전송하는 경우 아날로그 출력의 경우는 동시 녹음 방식으로 저장하고, 디지털 출력의 경우는 멀티-채널 방식으로 저장하여 전송한다.When each synthesized sound generated by the synthesis process is transmitted to the other party for use in other services (voice mail or voice mail, etc.), the analog output is stored in a simultaneous recording method, and the digital output is a multi-channel method. Save and send.

다음 TTS 시스템은 아카펠라 기능이 설정되어 있는지 판단하여(S314), 아카펠라 기능이 설정되어 있지 않으면 음성(합성음)을 출력하여(S322) 코러스 기능을 구현한다.Next, the TTS system determines whether the a cappella function is set (S314), and outputs a voice (synthetic sound) if the a cappella function is not set (S322) to implement a chorus function.

아카펠라 기능이 설정되어 있으면, 운율/음성 생성부(200)에서 운율을 생성하여(S316) 음성 합성부(300)를 통해 운율 합성부(400)로 출력하고, 운율 합성부는 합성음에 운율을 더해서(S318) 음성(합성음+출력)을 출력함으로서(S320) 아카펠라 기능을 수행한다.If the a cappella function is set, the rhyme / voice generator 200 generates a rhyme (S316) and outputs the rhyme synthesizer 400 through the voice synthesizer 300, and the rhyme synthesizer adds a rhyme to the synthesized sound ( S318) The a cappella function is performed by outputting a voice (synthetic sound + output) (S320).

이때 TTS 시스템 기능에 따라 각종 문장부호(.,?!)를 아카펠라 효과의 제어부호로 활용할 수 있다.At this time, according to the function of the TTS system, various punctuation symbols (.,?!) Can be used as control symbols of the a cappella effect.

아울러 의미있는 혹은 의미없는 문장이나 문자열(예를 들어 "아아아아아아아"와 같은 문자열) 모두에 대해 TTS 시스템에 의해 운율을 생성하여 아카펠라 효과를 얻을 수 있다.In addition, a cappella effect can be obtained by generating a rhyme by the TTS system for both meaningful and meaningless sentences or strings (for example, strings such as "ah-ah-ah-ah-ah").

상기한 실시예의 순서에서 코러스 기능이 수행된 후 아카펠라 기능을 수행하도록 되어 있으나 본 발명은 이 순서에 국한되지 않는다.The chorus function is performed after the chorus function is performed in the above-described embodiment, but the present invention is not limited to this order.

또한, 본 발명은 TTS의 멀티 스레드 방식 뿐 아니라 이와 유사한 동시 합성,출력 방식에 광범위하게 적용되며, TTS 시스템에 의하여 자동 생성된 운율에 의한 아카펠라 운율 효과 및 그 효과를 이용한 다양한 서비스에 광범위하게 적용된다.In addition, the present invention is widely applied to the multi-threaded method of TTS as well as similar simultaneous synthesis and output methods, and is widely applied to the a cappella rhyme effect by the rhyme automatically generated by the TTS system and various services using the effect. .

이상에서 살펴본 바와 같이 본 발명에 의하면, TTS의 다양한 음색 혹은 단일음색이라도 멀티 출력이 되도록 하고, 문장 해석에 따른 시스템에 의한 자율적 운율부가로 인하여 아카펠라 효과를 갖게 하며, 상기한 코러스 및 아카펠라 효과를 이용하여 음성메일이나 카드 음성사서함 뿐만 아니라 마이벨이나 컬러링의 음원으로 활용할 수 있도록 한다.As described above, according to the present invention, various sounds or single tones of the TTS are multi-outputs, and have an a cappella effect due to autonomous rhyme by the system according to sentence interpretation, and use the chorus and a cappella effects described above. It can be used not only for voicemail or card voicemail, but also for Mybell or coloring.

Claims

A method for implementing an additional function in a TTS system comprising a sentence analyzer, a rhyme / voice generator, a speech synthesizer, a unit speech DB, and a rhyme synthesizer;

Setting up additional functions such as chorus or a cappella in the TTS system;

Checking and analyzing a character included in a sentence input by the sentence analyzing unit;

Determining whether a chorus function is set in the TTS system;

Generating a voice for a sentence analyzed by a rhyme / voice generator when the chorus function is set;

Retrieving and synthesizing the unit voice from the unit voice DB by the number of people set in the additional function setting step, to the voice generated by the voice synthesis unit;

A chorus and a cappella implementation method using a TTS, characterized in that for outputting the synthesized sound through a speaker.

The chorus and a cappella implementation method using TTS, characterized in that to generate a synthesis process by multi-thread in the speech synthesis step to have a minimum delay (delay).

The method of claim 1, further comprising: determining a cappella function in the TTS system;

Generating a rhyme for a sentence in a rhyme / voice generator if the a cappella function is set;

Adding a rhyme to the synthesized sound in the rhyme synthesizer;

A chorus and a cappella implementation method using a TTS, characterized in that it further comprises the step of outputting the voice (synthetic sound + rhyme) through a speaker.

The chorus and a cappella implementation method using TTS according to claim 3, wherein various codes of the sentence are used as control codes of an a cappella effect.

The method of claim 3 or 4, wherein the a cappella uses a voice output from the TTS system that is not the same as the voice of a natural person.