WO2022065603A1 - 텍스트 기반의 음성 합성 방법 및 장치 - Google Patents
텍스트 기반의 음성 합성 방법 및 장치 Download PDFInfo
- Publication number
- WO2022065603A1 WO2022065603A1 PCT/KR2020/018935 KR2020018935W WO2022065603A1 WO 2022065603 A1 WO2022065603 A1 WO 2022065603A1 KR 2020018935 W KR2020018935 W KR 2020018935W WO 2022065603 A1 WO2022065603 A1 WO 2022065603A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- classification
- unit text
- text
- sentence
- Prior art date
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 6
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 49
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 49
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 21
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/131—Fragmentation of text files, e.g. creating reusable text-blocks; Linking to fragments, e.g. using XInclude; Namespaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
Definitions
- Embodiments of the present invention relate to speech synthesis technology.
- the speaker's tone or prosody eg, stress, speed, volume, etc.
- the voice synthesis result is monotonous and unnatural.
- an artificial neural network detects and learns the relationship between text and speech given in sentence units, it learns the speaker’s voice data with more diverse characteristics to reproduce the speaker’s tone. It is possible to do At this time, learning is not done only in sentence units, and due to resource constraints of the computer, when the sentence length is long, the sentence is divided into several parts, and when the sentence length is short, several sentences are connected to learn.
- the disclosed embodiment is to provide a text-based speech synthesis method and apparatus capable of synthesizing speech by reflecting speech characteristics according to a speaker's context.
- a speech synthesis apparatus is a computing device including one or more processors and a memory for storing one or more programs executed by the one or more processors, and a classification preset for each input unit text preprocessing module to display symbols; and a speech synthesis module that receives each unit text marked with the classification symbol and synthesizes a voice uttering the unit text based on the input unit text.
- the pre-processing module may include: a classification unit for classifying at least one of a position in a sentence and a relationship between sentences for each input unit text; and a classification display unit configured to display the classification symbol on each unit text according to a position in a sentence of each unit text or a relationship between sentences.
- the classification unit may classify positions in the sentence with respect to the beginning and the end of the unit text, and the classification display unit may display the classification symbol at the beginning and the end of the unit text.
- the unit text is divided into several sentences, and the classification display unit may omit the classification symbol according to a position of the unit text in the sentence.
- the speech synthesis module may include: an encoder that receives each unit text in which the classification symbol is displayed and generates an embedding vector for each received unit text; and a decoder for synthesizing speech for each unit text based on the embedding vector for each unit text.
- the speech synthesis apparatus further includes an attention unit configured to receive an embedding vector for each unit text from the encoder, and determine an attention weight for each unit text based on the embedding vector to generate an attention map
- the decoder may receive an embedding vector and an attention map for each unit text from the attention unit, and synthesize a voice for each unit text based on the embedding vector and the attention map.
- a speech synthesis apparatus is a computing device including one or more processors and a memory for storing one or more programs executed by the one or more processors, and a classification display for each input unit text a pre-processing module for generating information; and a speech synthesis module that receives the respective unit texts and classification indication information for each unit text, and synthesizes a voice uttering the unit texts based on the respective unit texts and the classification indication information.
- the pre-processing module may include: a classification unit for classifying at least one of a position in a sentence and a relationship between sentences for each input unit text; and a classification display unit configured to generate the classification display information according to a position in a sentence of each unit text or a relationship between sentences.
- the classification unit may classify positions in the sentence with respect to a beginning and an end of the unit text, and the classification display unit may generate the classification indication information for a beginning and an end of the unit text.
- the speech synthesis module may include: a first encoder for receiving each unit text and generating a first embedding vector for each unit text; a second encoder that receives classification indication information for each unit text and generates a second embedding vector for the classification indication information; a combination unit generating a combination vector by combining the first embedding vector and the second embedding vector; and a decoder for synthesizing the speech for each of the unit texts based on the combination vector.
- the classification indication information is an index assigned according to a position in a classified sentence or a relationship between sentences
- the second encoder applies a one-hot encoding vector to the classification indication information of each unit test. , and embedding the one-hot encoding vector to generate the second embedding vector.
- the speech synthesizing apparatus further includes an attention unit configured to receive a combination vector for each unit text from the combining unit, determine an attention weight for each received unit text, and generate an attention map, wherein the decoder includes: A combination vector and an attention map for each unit text may be received from the attention unit, and a voice for each unit text may be synthesized based on the combination vector and the attention map.
- the speech synthesis method is a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, and each unit text input displaying a preset classification symbol on the ; and receiving each unit text in which the classification symbol is displayed, and synthesizing a voice uttering the unit text based on the input unit text.
- a speech synthesis method is a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, wherein each unit text input generating classification indication information for ; and receiving each unit text and classification indication information for each unit text, and synthesizing a voice uttering the unit text based on each unit text and the classification indication information.
- the pre-processing module categorizes the position and the relationship between sentences in a sentence of each unit text and displays the classification, and then inputs it to the voice synthesis module, so that the position and sentence of each unit text in the sentence in the voice synthesis module It is possible to learn to synthesize the voice of a certain speaker according to the relationship between the two, and as a result, the voice characteristics according to the context of the speaker (for example, speech speed, volume, variation in pitch, etc.) are well reflected, resulting in a natural voice synthesis result. be able to pay
- FIG. 1 is a diagram showing the configuration of an apparatus for synthesizing speech using text according to an embodiment of the present invention
- FIG. 2 is a diagram showing the configuration of a speech synthesis module according to an embodiment of the present invention.
- FIG. 3 is a diagram illustrating the configuration of a speech synthesis module in a speech synthesis apparatus according to another embodiment of the present invention.
- FIG. 4 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments;
- the terms "transmission”, “communication”, “transmission”, “reception” and other similar meanings of a signal or information are not only directly transmitted from one component to another component, but also a signal or information This includes passing through other components.
- to “transmit” or “transmit” a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for “reception” of signals or information.
- first and second may be used to describe various components, but the components should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another component.
- a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
- FIG. 1 is a diagram showing the configuration of a speech synthesis apparatus using text according to an embodiment of the present invention.
- the speech synthesis apparatus 100 may include a preprocessing module 102 and a speech synthesis module 104 .
- the speech synthesis apparatus 100 may synthesize speech from input text based on a machine learning technique using an artificial neural network.
- a learning process for synthesizing speech from input text will be mainly described.
- the configuration of the speech synthesis apparatus 100 shown in FIG. 1 represents functionally distinct functional elements, and may be functionally connected to each other in order to perform the function according to the present invention, and any one or more components may be the actual physical components. may be implemented by being integrated with each other.
- the pre-processing module 102 may include a classification unit 102a and a classification display unit 102b.
- the classification unit 102a may classify the position of each input unit text within a sentence. That is, the classification unit 102a may classify where each input unit text is located in the corresponding sentence (eg, the beginning of the sentence, the middle of the sentence, the end of the sentence, etc.).
- the unit text may be one sentence divided into several, but is not limited thereto, and several sentences may be connected.
- the unit text may be provided such that, when a voice is synthesized based on the unit text, the length of the synthesized voice has a preset time length.
- the classifying unit 102a may classify, with respect to the input unit text, where the start part and the end part of the unit text are located in the corresponding sentence, but is not limited thereto.
- the classification unit 102a may classify the relationship between sentences of each input unit text. That is, the classification unit 102a may classify the relationship between sentences with respect to what kind of relationship each input unit text has with other sentences (eg, a front sentence or a back sentence).
- the classification unit 102a determines whether the input unit text has a relationship with the content of the previous sentence in relation to the previous sentence, whether a new content completely different from the content of the previous sentence is started, and the content of the previous sentence. It is possible to classify the relationship between sentences, such as whether it is in a relationship to amplify the contents of the previous sentence or whether it is in a relationship to repeatedly explain the contents of the previous sentence.
- the classification unit 102a decomposes each input unit text into a specific unit such as a morpheme or a syllable using a natural language processing algorithm or a machine learning model, and then the position in the sentence of the unit text and the relationship between the sentences can be classified.
- a specific unit such as a morpheme or a syllable using a natural language processing algorithm or a machine learning model
- the classification display unit 102b may perform classification display on the position in the sentence classified by the classification unit 102a and the relationship between the sentences. That is, the classification display unit 102b may perform classification display on the position in the classified sentence of each unit text and the relationship between the sentences.
- the classification display unit 102b may perform classification display using preset classification symbols for positions within the classified sentences and relationships between sentences.
- the classification symbol may include, but is not limited to, letters (eg, alphabets, Greek letters, Roman letters, etc.), numbers, symbols, and the like.
- a sentence ie, a sentence for voice synthesis
- the speech synthesis apparatus 100 is "the voice is ... and sometimes ... and eventually ". Then, this sentence is divided into a first unit text saying "the voice is ", a second unit text saying “sometimes ... by”, and a third unit text saying “eventually " to synthesize speech. It is assumed that the input is input to the device 100 .
- the classification unit 102a classifies the part called "voice is”, which is the beginning of the first unit text, as the beginning of the sentence, and the part called "is”, which is the end of the first unit text, as the middle part of the sentence.
- the classification display unit 102b may perform classification display for the first unit text as "s voice is ... and m".
- s may be a classification symbol for indicating the beginning of a sentence
- m may be a classification symbol for indicating a middle part of a sentence.
- the classification unit 102a may classify a part "sometimes", which is the beginning of the second unit text, as a sentence middle part, and classify a part called "bye,” which is an end part of the second unit text, as a sentence middle part.
- the classification display unit 102b may perform classification and display for the second unit text as “m sometimes ... and then m”.
- the classification unit 102a may classify the part called "after all", which is the beginning of the third unit text, as the middle part of the sentence, and the part called "do", which is the end part of the third unit text, as the end of the sentence. there is.
- the classification display unit 102b may perform classification display with "m eventually ... e" for the third unit text.
- e may be a classification symbol for indicating the end of a sentence.
- the classification display unit 102b may omit the classification symbol display according to the position in the sentence of the unit text. For example, when the beginning of the unit text is the beginning of a sentence, the classification display unit 102b may omit the classification symbol s without displaying a separate classification symbol.
- the classification display unit 102b when the end of the unit text is the end of a sentence and there is a punctuation mark (eg, a period (.) or a question mark (?)) at the end of the unit text, a separate classification symbol You can omit the classification symbol (e) without indicating .
- a punctuation mark eg, a period (.) or a question mark (?)
- the classification display unit 102b may also perform classification display on the relationship between sentences of the unit text through a preset classification symbol.
- the classification symbol may be represented by n.
- the classification symbol may be denoted by c.
- the speech synthesis module 104 may receive each unit text in which a classification symbol is displayed, and synthesize a voice in which a predetermined speaker utters each unit text based on each input unit text.
- the speech synthesis module 104 may be trained to synthesize speech uttered from the unit text in which the classification symbol is displayed based on a machine learning technique using an artificial neural network.
- the speech synthesis module 104 may include an encoder 111 , an attention unit 113 , and a decoder 115 .
- the artificial neural network configuration of the speech synthesis module 104 is shown, and the artificial neural network configuration of the speech synthesis module 104 is not limited thereto. That is, the speech synthesis module 104 may be implemented through various other artificial neural network configurations.
- the encoder 111 may receive each unit text in which a classification symbol is displayed (eg, the first unit text T1 , the second unit text T2 , and the third unit text T3 ). In an exemplary embodiment, the encoder 111 may divide each unit text marked with a classification symbol into tokens of a preset division unit, and generate a token sequence including a plurality of divided tokens.
- the division unit may be a morpheme unit. That is, each token included in the token sequence may be each morpheme included in the unit text.
- the encoder 111 may perform morphological analysis on each input unit text to divide each unit text into morpheme units.
- the present invention is not limited thereto, and the division unit may be a syllable or the like.
- the encoder 111 may generate an embedding vector based on a token sequence for each unit text. That is, the encoder 111 may generate an embedding vector that is a vector of a preset dimension based on the token sequence for each unit text.
- the attention unit 113 may generate an attention map by determining an attention weight for each unit text.
- the attention unit 113 may output an embedding vector and an attention map for each unit text to the decoder 115 .
- the attention unit 113 determines an attention-focusing weight for which part (ie, which token) should be focused on in the embedding vector of each unit text to generate an attention map.
- an attention mechanism (Attention Mechanism) is a known technique, a detailed description thereof will be omitted.
- the decoder 115 may synthesize and output a voice for each unit text based on an embedding vector and an attention map for each unit text.
- the decoder 115 compares the synthesized voice with the original voice (that is, a voice in which a predetermined speaker utters each unit text), so that the synthesized voice approximates the original voice by learning parameters (eg, a loss function; softmax function, etc.) can be adjusted.
- learning parameters eg, a loss function; softmax function, etc.
- the pre-processing module 102 classifies the position of each unit text in the sentence and the relationship between the sentences to perform classification display, and then inputs it to the voice synthesis module 104, so that in the voice synthesis module 104, It is possible to learn to synthesize the voice of a given speaker according to the position in the sentence of each unit text and the relationship between sentences, and thereby, the voice characteristics (for example, speech speed, volume, variation in pitch, etc.) according to the context of the speaker. ), it is possible to produce a natural speech synthesis result.
- the voice characteristics for example, speech speed, volume, variation in pitch, etc.
- a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
- the "module” may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or a single type of hardware.
- each unit text includes a classification symbol and is input to the speech synthesis module 104
- the present invention is not limited thereto, and the unit text and classification indication information may be separately inputted into the speech synthesis module 104 .
- the classification display unit 102b may generate classification display information on the position of each unit text within the sentence and the relationship between the sentences.
- the classification display unit 102b may generate classification display information by assigning an index to a position in a sentence of each unit text and a relationship between sentences.
- the classification display unit 102b may assign an index of 1 to the beginning of a sentence and an index of 2 to the middle of a sentence with respect to a position in a sentence of the beginning of each unit text. Also, the classification display unit 102b may assign an index of 1 to the middle of the sentence and an index of 2 to the end of the sentence with respect to the position in the sentence of the end of each unit text.
- the classification display unit 102b is An index of (1, 1) can be assigned to 1 unit text.
- the classification display unit 102b displays the second An index of (2, 1) can be assigned to the unit text.
- the classification display unit 102b is An index of (2, 2) may be assigned to the third unit text.
- FIG 3 is a diagram showing the configuration of the speech synthesis module 204 in the speech synthesis apparatus 200 according to another embodiment of the present invention.
- the speech synthesis module 204 may include a first encoder 211 , a second encoder 213 , a combination unit 215 , an attention unit 217 , and a decoder 219 .
- the first encoder 211 may receive each unit text (eg, the first unit text T1 , the second unit text T2 , and the third unit text T3 ). The first encoder 211 may generate a token sequence for each input unit text, and generate a first embedding vector for each unit text based on the generated token sequence.
- each unit text eg, the first unit text T1 , the second unit text T2 , and the third unit text T3 .
- the first encoder 211 may generate a token sequence for each input unit text, and generate a first embedding vector for each unit text based on the generated token sequence.
- the second encoder 213 may receive classification indication information (first index information I1, second index information I2, and third index information I3) for classification of each unit text.
- the second encoder 213 may generate a one-hot encoding vector for classification indication information of each unit text.
- the second encoder 213 indicates that the first index information I1 is 0101.
- One-hot encoding vectors can be created.
- the second encoder 213 indicates a circle of 1001 with respect to the second index information I2. You can create hot encoding vectors.
- the second encoder 213 when the third index information I3 that is the classification indication information of the third unit text T3 is (2, 2), the second encoder 213 generates a circle of 1010 for the third index information I3. - Able to generate hot encoding vectors.
- the second encoder 213 may generate a second embedding vector by embedding a one-hot encoding vector of classification indication information of each unit text. That is, the first encoder 211 may generate a first embedding vector for each unit text, and the second encoder 213 may generate a second embedding vector for classification indication information of each unit text.
- the combining unit 215 may combine the first embedding vector output from the first encoder 211 and the second embedding vector output from the second encoder 213 to generate a combination vector related to each unit text.
- the combination unit 215 may generate a combination vector by concatenating the first embedding vector and the second embedding vector, but is not limited thereto.
- the attention unit 217 may generate an attention map by determining an attention weight for each unit text.
- the attention unit 217 may output a combination vector and an attention map for each unit text to the decoder 219 .
- the decoder 219 may synthesize and output a voice for each unit text based on a combination vector and an attention map for each unit text.
- the decoder 219 compares the synthesized voice with the original voice (that is, a voice in which a predetermined speaker utters each unit text), so that the synthesized voice approximates the original voice by learning parameters (eg, a loss function; softmax function, etc.) can be adjusted.
- learning parameters eg, a loss function; softmax function, etc.
- each component may have different functions and capabilities other than those described below, and may include additional components in addition to those described below.
- the illustrated computing environment 10 includes a computing device 12 .
- computing device 12 may be speech synthesis device 100 , 200 .
- Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 .
- the processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above.
- the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 .
- the one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be
- Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
- the program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14 .
- computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.
- Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .
- Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 .
- the input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 .
- Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 .
- Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices and/or output devices such as display devices, printers, speakers and/or network cards.
- the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 12 as a separate device distinct from the computing device 12 . may be
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
텍스트 기반의 음성 합성 방법 및 장치가 개시된다. 개시되는 일 실시예에 따른 음성 합성 장치는, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 입력되는 각 단위 텍스트에 기 설정된 분류 기호를 표시하는 전처리 모듈 및 분류 기호가 표시된 각 단위 텍스트를 입력 받고, 입력된 단위 텍스트를 기반으로 상기 단위 텍스트를 발화하는 음성을 합성하는 음성 합성 모듈을 포함한다.
Description
본 발명의 실시예는 음성 합성 기술과 관련된다.
음소 단위 연결 또는 모형화를 기반으로 하는 기존의 음성 합성 방식에서는 화자의 어조 또는 운율(예를 들어, 강세, 속도, 음량 등)이 일정해야 음성 합성이 가능하기 때문에, 음성 합성에 적합한 목소리를 신중하게 골라야 하며, 음성 합성 결과도 단조롭고 부자연스러운 문제점이 있다.
한편, 문장 단위로 주어지는 문자와 음성의 관계를 인공 신경망이 스스로 파악하여 학습하는 딥러닝(Deep Learning) 기반의 음성 합성에서는, 보다 다양한 특성을 가진 화자의 음성 데이터를 학습하여 해당 화자의 말투를 재현하는 것이 가능하다. 이때, 문장 단위로만 학습하는 것은 아니며 컴퓨터의 자원 제약으로 인해, 문장 길이가 긴 경우에는 해당 문장을 여러 개로 분할하여 학습하고, 문장 길이가 짧은 경우에는 여러 문장을 연결하여 학습하기도 한다.
하지만, 음성 특성(예를 들어, 말의 속도, 음량, 높낮이의 편차 등)이 큰 화자의 음성일수록, 특히 문맥에 따라 그 음성 특성이 크게 변하는 경우(예를 들어, 문장 시작 부분, 문장 내에서 다양한 접속사를 통해 이어지는 부분, 다른 문장이지만 내용이 이어지는 부분 등)에는 안정적인 모델 학습이 어렵고, 합성 결과를 연결했을 때 부자연스러운 경우가 빈번히 발생하는 문제가 있다.
개시되는 실시예는 화자의 문맥에 따른 음성 특성을 반영하여 음성을 합성할 수 있는 텍스트 기반의 음성 합성 방법 및 장치를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 음성 합성 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 입력되는 각 단위 텍스트에 기 설정된 분류 기호를 표시하는 전처리 모듈; 및 상기 분류 기호가 표시된 각 단위 텍스트를 입력 받고, 입력된 상기 단위 텍스트를 기반으로 상기 단위 텍스트를 발화하는 음성을 합성하는 음성 합성 모듈을 포함한다.
상기 전처리 모듈은, 입력되는 각 단위 텍스트에 대해 문장 내 위치 및 문장 간 관계 중 하나 이상을 분류하는 분류부; 및 상기 각 단위 텍스트의 문장 내 위치 또는 문장 간 관계에 따라 각 단위 텍스트에 상기 분류 기호를 표시하는 분류 표시부를 포함할 수 있다.
상기 분류부는, 상기 단위 텍스트의 시작 부분과 끝 부분에 대해 상기 문장 내 위치를 분류하고, 상기 분류 표시부는, 상기 단위 텍스트의 시작 부분과 끝 부분에 상기 분류 기호를 표시할 수 있다.
상기 단위 텍스트는, 문장이 여러 개로 분할된 것이고, 상기 분류 표시부는, 상기 단위 텍스트의 문장 내 위치에 따라 상기 분류 기호를 생략할 수 있다.
상기 음성 합성 모듈은, 상기 분류 기호가 표시된 각 단위 텍스트를 입력 받고, 입력 받은 각 단위 텍스트에 대한 임베딩 벡터를 생성하는 인코더; 및 상기 각 단위 텍스트에 대한 임베딩 벡터에 기반하여 각 단위 텍스트에 대한 음성을 합성하는 디코더를 포함할 수 있다.
상기 음성 합성 장치는, 상기 인코더로부터 각 단위 텍스트에 대한 임베딩 벡터를 입력 받고, 상기 임베딩 벡터를 기반으로 각 단위 텍스트에 대해 주의 집중 가중치를 결정하여 어텐션 맵을 생성하는 어텐션부를 더 포함하고, 상기 디코더는, 상기 어텐션부로부터 각 단위 텍스트에 대한 임베딩 벡터 및 어텐션 맵을 입력 받고, 상기 임베딩 벡터 및 어텐션 맵을 기반으로 각 단위 텍스트에 대한 음성을 합성할 수 있다.
개시되는 다른 실시예에 따른 음성 합성 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 입력되는 각 단위 텍스트에 대해 분류 표시 정보를 생성하는 전처리 모듈; 및 상기 각 단위 텍스트 및 각 단위 텍스트에 대한 분류 표시 정보를 입력 받고, 상기 각 단위 텍스트 및 상기 분류 표시 정보에 기반하여 상기 단위 텍스트를 발화하는 음성을 합성하는 음성 합성 모듈을 포함한다.
상기 전처리 모듈은, 입력되는 각 단위 텍스트에 대해 문장 내 위치 및 문장 간 관계 중 하나 이상을 분류하는 분류부; 및 상기 각 단위 텍스트의 문장 내 위치 또는 문장 간 관계에 따라 상기 분류 표시 정보를 생성하는 분류 표시부를 포함할 수 있다.
상기 분류부는, 상기 단위 텍스트의 시작 부분과 끝 부분에 대해 상기 문장 내 위치를 분류하고, 상기 분류 표시부는, 상기 단위 텍스트의 시작 부분과 끝 부분에 대해 상기 분류 표시 정보를 생성할 수 있다.
상기 음성 합성 모듈은, 상기 각 단위 텍스트를 입력 받고, 상기 각 단위 텍스트에 대한 제1 임베딩 벡터를 생성하는 제1 인코더; 상기 각 단위 텍스트에 대한 분류 표시 정보를 입력 받고, 상기 분류 표시 정보에 대한 제2 임베딩 벡터를 생성하는 제2 인코더; 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터를 조합하여 조합 벡터를 생성하는 조합부; 및 상기 조합 벡터를 기반으로 상기 각 단위 텍스트에 대한 음성을 합성하는 디코더를 포함할 수 있다.
상기 분류 표시 정보는, 분류된 문장 내 위치 또는 문장 간 관계에 따라 인덱스가 부여된 것이고, 상기 제2 인코더는, 상기 각 단위 테스트의 분류 표시 정보에 대해 원-핫 인코딩(One-Hot Encoding) 벡터를 생성하며, 상기 원-핫 인코딩 벡터를 임베딩하여 상기 제2 임베딩 벡터를 생성할 수 있다.
상기 음성 합성 장치는, 상기 조합부로부터 각 단위 텍스트에 대한 조합 벡터를 입력 받고, 입력 받은 각 단위 텍스트에 대해 주의 집중 가중치를 결정하여 어텐션 맵을 생성하는 어텐션부를 더 포함하고, 상기 디코더는, 상기 어텐션부로부터 각 단위 텍스트에 대한 조합 벡터 및 어텐션 맵을 입력 받고, 상기 조합 벡터 및 어텐션 맵을 기반으로 각 단위 텍스트에 대한 음성을 합성할 수 있다.
개시되는 일 실시예에 따른 음성 합성 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력되는 각 단위 텍스트에 기 설정된 분류 기호를 표시하는 동작; 및 상기 분류 기호가 표시된 각 단위 텍스트를 입력 받고, 입력된 상기 단위 텍스트를 기반으로 상기 단위 텍스트를 발화하는 음성을 합성하는 동작을 포함한다.
개시되는 다른 실시예에 따른 음성 합성 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력되는 각 단위 텍스트에 대해 분류 표시 정보를 생성하는 동작; 및 상기 각 단위 텍스트 및 각 단위 텍스트에 대한 분류 표시 정보를 입력 받고, 상기 각 단위 텍스트 및 상기 분류 표시 정보에 기반하여 상기 단위 텍스트를 발화하는 음성을 합성하는 동작을 포함한다.
개시되는 실시예에 의하면, 전처리 모듈에서 각 단위 텍스트의 문장 내 위치 및 문장 간 관계를 분류하여 분류 표시를 수행한 후 음성 합성 모듈로 입력함으로써, 음성 합성 모듈에서 각 단위 텍스트의 문장 내 위치 및 문장 간 관계에 따라 소정 화자의 음성을 합성하도록 학습할 수 있으며, 그로 인해 해당 화자의 문맥에 따른 음성 특성(예를 들어, 말의 속도, 음량, 높낮이의 편차 등)을 잘 반영하여 자연스러운 음성 합성 결과를 낼 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 텍스트를 이용한 음성 합성 장치의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 음성 합성 모듈의 구성을 나타낸 도면
도 3은 본 발명의 다른 실시예에 따른 음성 합성 장치에서 음성 합성 모듈의 구성을 나타낸 도면
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 텍스트를 이용한 음성 합성 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 음성 합성 장치(100)는 전처리 모듈(102) 및 음성 합성 모듈(104)을 포함할 수 있다.
음성 합성 장치(100)는 인공 신경망을 이용한 머신 러닝(Machine Learning) 기술에 기반하여 입력되는 텍스트로부터 음성을 합성할 수 있다. 이하에서는, 입력되는 텍스트에서 음성을 합성하기 위한 학습 과정을 위주로 설명하기로 한다.
또한, 도 1에 도시된 음성 합성 장치(100)의 구성은, 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 본 발명에 따른 기능을 수행하기 위하여 상호 기능적으로 연결될 수 있으며, 어느 하나 이상의 구성이 실제 물리적으로는 서로 통합되어 구현될 수도 있다.
전처리 모듈(102)은 분류부(102a) 및 분류 표시부(102b)를 포함할 수 있다. 분류부(102a)는 입력되는 각 단위 텍스트의 문장 내 위치를 분류할 수 있다. 즉, 분류부(102a)는 입력되는 각 단위 텍스트가 해당 문장에서 어느 부분(예를 들어, 문장 시작 부분, 문장 중간 부분, 문장 끝 부분 등)에 위치하는지를 분류할 수 있다.
여기서, 단위 텍스트는 하나의 문장이 여러 개로 분할된 것일 수 있으나, 이에 한정되는 것은 아니며 여러 개의 문장이 연결된 것일 수도 있다. 단위 텍스트는 단위 텍스트를 기반으로 음성이 합성되는 경우, 합성된 음성의 길이가 기 설정된 시간 길이를 가지도록 마련된 것일 수 있다.
예시적인 실시예에서, 분류부(102a)는 입력되는 단위 텍스트에 대해 단위 텍스트의 시작 부분과 끝 부분이 해당 문장에서 어느 부분에 위치하는지를 분류할 수 있으나, 이에 한정되는 것은 아니다.
또한, 분류부(102a)는 입력되는 각 단위 텍스트의 문장 간 관계를 분류할 수 있다. 즉, 분류부(102a)는 입력되는 각 단위 텍스트가 다른 문장(예를 들어, 앞 문장 또는 뒷 문장 등)과 어떤 관계를 갖는지에 대한 문장 간 관계를 분류할 수 있다.
구체적으로, 분류부(102a)는 입력되는 단위 텍스트가 앞 문장과 관련하여 앞 문장의 내용과 이어지는 관계에 있는지, 앞 문장의 내용과는 전혀 다른 새로운 내용이 시작되는 관계에 있는지, 앞 문장의 내용을 부연 설명하는 관계에 있는지, 앞 문장의 내용을 반복 설명하는 관계에 있는지 등과 같은 문장 간 관계를 분류할 수 있다.
예시적인 실시예에서, 분류부(102a)는 자연어처리 알고리즘 또는 머신 러닝 모델 등을 이용하여 입력되는 각 단위 텍스트를 형태소 또는 음절 등과 같은 특정 단위로 분해한 후 단위 텍스트의 문장 내 위치 및 문장 간 관계를 분류할 수 있다.
분류 표시부(102b)는 분류부(102a)에서 분류된 문장 내 위치 및 문장 간 관계에 대해 분류 표시를 수행할 수 있다. 즉, 분류 표시부(102b)는 각 단위 텍스트의 분류된 문장 내 위치 및 문장 간 관계에 대해 분류 표시를 수행할 수 있다. 분류 표시부(102b)는 분류된 문장 내 위치 및 문장 간 관계에 대해 기 설정된 분류 기호를 이용하여 분류 표시를 수행할 수 있다. 예시적인 실시예에서, 분류 기호는 문자(예를 들어, 알파벳, 그리스 문자, 로마 문자 등), 숫자, 부호 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예시적인 실시예에서, 음성 합성 장치(100)로 입력되는 문장(즉, 음성 합성을 하기 위한 문장)이 "음성은 ...이며 때로는 ...하여 결국 ...합니다"라고 가정한다. 그리고, 이 문장이 "음성은 ...이며"라는 제1 단위 텍스트, "때로는 ...하여"라는 제2 단위 텍스트, 및 "결국 ... 합니다"라는 제3 단위 텍스트로 분할되어 음성 합성 장치(100)로 입력되는 것을 가정한다.
여기서, 분류부(102a)는 제1 단위 텍스트의 시작 부분인 "음성은"이라는 부분을 문장 시작 부분으로 분류하고, 제1 단위 텍스트의 끝 부분인 "이며"라는 부분을 문장 중간 부분으로 분류할 수 있다. 분류 표시부(102b)는 제1 단위 텍스트에 대해 "s 음성은 ... 이며 m"으로 분류 표시를 수행할 수 있다. 이때, s는 문장 시작 부분을 표시하기 위한 분류 기호이고, m은 문장 중간 부분을 표시하기 위한 분류 기호일 수 있다.
분류부(102a)는 제2 단위 텍스트의 시작 부분인 "때로는"이라는 부분을 문장 중간 부분으로 분류하고, 제2 단위 텍스트의 끝 부분인 "하여"라는 부분을 문장 중간 부분으로 분류할 수 있다. 분류 표시부(102b)는 제2 단위 텍스트에 대해 "m 때로는 ... 하여 m"으로 분류 표시를 수행할 수 있다.
분류부(102a)는 제3 단위 텍스트의 시작 부분인 "결국"이라는 부분에 대해 문장 중간 부분으로 분류하고, 제3 단위 텍스트의 끝 부분인 "합니다"라는 부분에 대해 문장 끝 부분으로 분류할 수 있다. 분류 표시부(102b)는 제3 단위 텍스트에 대해 "m 결국 ... 합니다 e"으로 분류 표시를 수행할 수 있다. 이때, e는 문장 끝 부분을 표시하기 위한 분류 기호일 수 있다.
분류 표시부(102b)는 단위 텍스트의 문장 내 위치에 따라 분류 기호 표시를 생략할 수도 있다. 예를 들어, 분류 표시부(102b)는 단위 텍스트의 시작 부분이 문장 시작 부분인 경우, 별도의 분류 기호를 표시하지 않고 분류 기호(s)를 생략할 수 있다.
또한, 분류 표시부(102b)는 단위 텍스트의 끝 부분이 문장 끝 부분이고, 단위 텍스트의 끝 부분에 구두점(예를 들어, 마침표(.) 또는 물음표(?) 등)이 있는 경우, 별도의 분류 기호를 표시하지 않고 분류 기호(e)를 생략할 수 있다.
한편, 분류 표시부(102b)는 단위 텍스트의 문장 간 관계에 대해서도 기 설정된 분류 기호를 통해 분류 표시를 수행할 수 있다. 예를 들어, 단위 텍스트의 문장 간 관계가 새로운 내용이 시작되는 관계인 경우, 분류 기호는 n으로 표시될 수 있다. 단위 텍스트의 문장 간 관계가 내용이 이어지는 관계인 경우, 분류 기호는 c로 표시될 수 있다.
음성 합성 모듈(104)은 분류 기호가 표시된 각 단위 텍스트를 입력 받고, 입력된 각 단위 텍스트를 기반으로 소정 화자가 각 단위 텍스트를 발화하는 음성을 합성할 수 있다. 음성 합성 모듈(104)은 인공 신경망을 이용한 머신 러닝 기술에 기반하여 분류 기호가 표시된 단위 텍스트로부터 발화하는 음성을 합성하도록 학습될 수 있다.
도 2는 본 발명의 일 실시예에 따른 음성 합성 모듈(104)의 구성을 나타낸 도면이다. 도 2를 참조하면, 음성 합성 모듈(104)은 인코더(111), 어텐션부(113), 및 디코더(115)를 포함할 수 있다.
여기서는, 음성 합성 모듈(104)의 인공 신경망 구성에 대한 일 실시예를 나타낸 것이고, 음성 합성 모듈(104)의 인공 신경망 구성이 이에 한정되는 것은 아니다. 즉, 음성 합성 모듈(104)은 그 이외에 다양한 인공 신경망 구성을 통해 구현될 수 있다.
인코더(111)는 분류 기호가 표시된 각 단위 텍스트(예를 들어, 제1 단위 텍스트(T1), 제2 단위 텍스트(T2), 및 제3 단위 텍스트(T3))를 입력 받을 수 있다. 예시적인 실시예에서, 인코더(111)는 분류 기호가 표시된 각 단위 텍스트를 기 설정된 분할 단위의 토큰으로 분할하고, 분할된 복수의 토큰을 포함하는 토큰 시퀀스를 생성할 수 있다.
여기서, 분할 단위는 형태소(Morpheme) 단위일 수 있다. 즉, 토큰 시퀀스에 포함된 각 토큰은 단위 텍스트에 포함된 각 형태소일 수 있다. 인코더(111)는 입력되는 각 단위 텍스트에 대해 형태소 분석(Morphological Analysis)을 수행하여 각 단위 텍스트를 형태소 단위로 분할 할 수 있다. 그러나, 이에 한정되는 것은 아니며 분할 단위는 음절 등이 될 수도 있다.
인코더(111)는 각 단위 텍스트에 대한 토큰 시퀀스를 기반으로 임베딩 벡터를 생성할 수 있다. 즉, 인코더(111)는 각 단위 텍스트에 대한 토큰 시퀀스를 기반으로 기 설정된 차원의 벡터인 임베딩 벡터를 생성할 수 있다.
어텐션부(113)는 인코더(111)로부터 각 단위 텍스트에 대한 임베딩 벡터가 입력되는 경우, 각 단위 텍스트에 대해 주의 집중 가중치(Attention Weight)를 결정하여 어텐션 맵(Attention Map)을 생성할 수 있다. 어텐션부(113)는 각 단위 텍스트에 대한 임베딩 벡터 및 어텐션 맵을 디코더(115)로 출력할 수 있다.
즉, 어텐션부(113)는 각 단위 텍스트에 대한 임베딩 벡터가 입력되는 경우, 각 단위 텍스트의 임베딩 벡터에서 어떤 부분(즉, 어떤 토큰)에 집중하여야 하는지에 대한 주의 집중 가중치를 결정하여 어텐션 맵을 생성할 수 있다. 이러한 주의 집중 메커니즘(Attention Mechanism)은 기 공지된 기술이므로, 이에 대한 자세한 설명은 생략하기로 한다.
디코더(115)는 각 단위 텍스트에 대한 임베딩 벡터 및 어텐션 맵을 기반으로 각 단위 텍스트에 대한 음성을 합성하여 출력할 수 있다. 디코더(115)는 합성된 음성과 원래의 음성(즉, 소정 화자가 각 단위 텍스트를 발화한 음성)을 비교하여, 합성된 음성이 원래의 음성에 가까워지도록 학습 파라미터(예를 들어, 손실 함수, 소프트맥스 함수 등)를 조절할 수 있다.
개시되는 실시예에 의하면, 전처리 모듈(102)에서 각 단위 텍스트의 문장 내 위치 및 문장 간 관계를 분류하여 분류 표시를 수행한 후 음성 합성 모듈(104)로 입력함으로써, 음성 합성 모듈(104)에서 각 단위 텍스트의 문장 내 위치 및 문장 간 관계에 따라 소정 화자의 음성을 합성하도록 학습할 수 있으며, 그로 인해 해당 화자의 문맥에 따른 음성 특성(예를 들어, 말의 속도, 음량, 높낮이의 편차 등)을 잘 반영하여 자연스러운 음성 합성 결과를 낼 수 있게 된다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
한편, 여기서는 각 단위 텍스트에 분류 기호를 포함하여 음성 합성 모듈(104)로 입력하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 단위 텍스트와 분류 표시 정보를 별도로 음성 합성 모듈(104)에 입력할 수도 있다.
여기서, 분류 표시부(102b)는 각 단위 텍스트의 문장 내 위치 및 문장 간 관계에 대한 분류 표시 정보를 생성할 수 있다. 분류 표시부(102b)는 각 단위 텍스트의 문장 내 위치 및 문장 간 관계에 대해 인덱스를 부여하여 분류 표시 정보를 생성할 수 있다.
예시적인 실시예에서, 분류 표시부(102b)는 각 단위 텍스트의 시작 부분의 문장 내 위치에 대해 문장 시작 부분은 1이라는 인덱스를 부여하고, 문장 중간 부분은 2라는 인덱스를 부여할 수 있다. 또한, 분류 표시부(102b)는 각 단위 텍스트의 끝 부분의 문장 내 위치에 대해 문장 중간 부분은 1이라는 인덱스를 부여하고, 문장 끝 부분은 2라는 인덱스를 부여할 수 있다.
제1 단위 텍스트의 시작 부분인 "음성은"이라는 부분은 문장 시작 부분으로 분류되고, 제1 단위 텍스트의 끝 부분인 "이며"라는 부분을 문장 중간 부분으로 분류되었으므로, 분류 표시부(102b)는 제1 단위 텍스트에 대해 (1, 1)이라는 인덱스를 부여할 수 있다.
제2 단위 텍스트의 시작 부분인 "때로는"이라는 부분을 문장 중간 부분으로 분류되고, 제2 단위 텍스트의 끝 부분인 "하여"라는 부분을 문장 중간 부분으로 분류되었으므로, 분류 표시부(102b)는 제2 단위 텍스트에 대해 (2, 1)이라는 인덱스를 부여할 수 있다.
제3 단위 텍스트의 시작 부분인 "결국"이라는 부분에 대해 문장 중간 부분으로 분류되고, 제3 단위 텍스트의 끝 부분인 "합니다"라는 부분에 대해 문장 끝 부분으로 분류되었으므로, 분류 표시부(102b)는 제3 단위 텍스트에 대해 (2, 2)라는 인덱스를 부여할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 음성 합성 장치(200)에서 음성 합성 모듈(204)의 구성을 나타낸 도면이다.
도 3을 참조하면, 음성 합성 모듈(204)은 제1 인코더(211), 제2 인코더(213), 조합부(215), 어텐션부(217), 및 디코더(219)를 포함할 수 있다.
제1 인코더(211)는 각 단위 텍스트(예를 들어, 제1 단위 텍스트(T1), 제2 단위 텍스트(T2), 및 제3 단위 텍스트(T3))를 입력 받을 수 있다. 제1 인코더(211)는 입력되는 각 단위 텍스트에 대해 토큰 시퀀스를 생성하고, 생성한 토큰 시퀀스를 기반으로 각 단위 텍스트에 대한 제1 임베딩 벡터를 생성할 수 있다.
제2 인코더(213)는 각 단위 텍스트의 분류에 대한 분류 표시 정보(제1 인덱스 정보(I1), 제2 인덱스 정보(I2), 및 제3 인덱스 정보(I3))를 입력 받을 수 있다. 제2 인코더(213)는 각 단위 텍스트의 분류 표시 정보에 대해 원-핫 인코딩(One-Hot Encoding) 벡터를 생성할 수 있다.
예를 들어, 제1 단위 텍스트(T1)의 분류 표시 정보인 제1 인덱스 정보(I1)가 (1, 1)인 경우, 제2 인코더(213)는 제1 인덱스 정보(I1)에 대해 0101이라는 원-핫 인코딩 벡터를 생성할 수 있다.
또한, 제2 단위 텍스트(T2)의 분류 표시 정보인 제2 인덱스 정보(I2)가 (2, 1)인 경우, 제2 인코더(213)는 제2 인덱스 정보(I2)에 대해 1001이라는 원-핫 인코딩 벡터를 생성할 수 있다.
또한, 제3 단위 텍스트(T3)의 분류 표시 정보인 제3 인데스 정보(I3)가 (2, 2)인 경우, 제2 인코더(213)는 제3 인덱스 정보(I3)에 대해 1010이라는 원-핫 인코딩 벡터를 생성할 수 있다.
제2 인코더(213)는 각 단위 텍스트의 분류 표시 정보의 원-핫 인코딩 벡터를 임베딩하여 제2 임베딩 벡터를 생성할 수 있다. 즉, 제1 인코더(211)는 각 단위 텍스트에 대한 제1 임베딩 벡터를 생성하고, 제2 인코더(213)는 각 단위 텍스트의 분류 표시 정보에 대한 제2 임베딩 벡터를 생성할 수 있다.
조합부(215)는 제1 인코더(211)에서 출력되는 제1 임베딩 벡터와 제2 인코더(213)에서 출력되는 제2 임베딩 벡터를 조합하여 각 단위 텍스트와 관련한 조합 벡터를 생성할 수 있다. 예시적인 실시예에서, 조합부(215)는 제1 임베딩 벡터와 제2 임베딩 벡터를 연결(Concatenate)하여 조합 벡터를 생성할 수 있으나, 이에 한정되는 것은 아니다.
어텐션부(217)는 조합부(215)로부터 각 단위 텍스트에 대한 조합 벡터가 입력되는 경우, 각 단위 텍스트에 대해 주의 집중 가중치를 결정하여 어텐션 맵을 생성할 수 있다. 어텐션부(217)는 각 단위 텍스트에 대한 조합 벡터 및 어텐션 맵을 디코더(219)로 출력할 수 있다.
디코더(219)는 각 단위 텍스트에 대한 조합 벡터 및 어텐션 맵을 기반으로 각 단위 텍스트에 대한 음성을 합성하여 출력할 수 있다. 디코더(219)는 합성된 음성과 원래의 음성(즉, 소정 화자가 각 단위 텍스트를 발화한 음성)을 비교하여, 합성된 음성이 원래의 음성에 가까워지도록 학습 파라미터(예를 들어, 손실 함수, 소프트맥스 함수 등)를 조절할 수 있다.
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 음성 합성 장치(100, 200)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (14)
- 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,입력되는 각 단위 텍스트에 기 설정된 분류 기호를 표시하는 전처리 모듈; 및상기 분류 기호가 표시된 각 단위 텍스트를 입력 받고, 입력된 상기 단위 텍스트를 기반으로 상기 단위 텍스트를 발화하는 음성을 합성하는 음성 합성 모듈을 포함하는, 음성 합성 장치.
- 청구항 1에 있어서,상기 전처리 모듈은,입력되는 각 단위 텍스트에 대해 문장 내 위치 및 문장 간 관계 중 하나 이상을 분류하는 분류부; 및상기 각 단위 텍스트의 문장 내 위치 또는 문장 간 관계에 따라 각 단위 텍스트에 상기 분류 기호를 표시하는 분류 표시부를 포함하는, 음성 합성 장치.
- 청구항 2에 있어서,상기 분류부는, 상기 단위 텍스트의 시작 부분과 끝 부분에 대해 상기 문장 내 위치를 분류하고,상기 분류 표시부는, 상기 단위 텍스트의 시작 부분과 끝 부분에 상기 분류 기호를 표시하는, 음성 합성 장치.
- 청구항 3에 있어서,상기 단위 텍스트는, 문장이 여러 개로 분할된 것이고,상기 분류 표시부는,상기 단위 텍스트의 문장 내 위치에 따라 상기 분류 기호를 생략하는, 음성 합성 장치.
- 청구항 1에 있어서,상기 음성 합성 모듈은,상기 분류 기호가 표시된 각 단위 텍스트를 입력 받고, 입력 받은 각 단위 텍스트에 대한 임베딩 벡터를 생성하는 인코더; 및상기 각 단위 텍스트에 대한 임베딩 벡터에 기반하여 각 단위 텍스트에 대한 음성을 합성하는 디코더를 포함하는, 음성 합성 장치.
- 청구항 5에 있어서,상기 음성 합성 장치는,상기 인코더로부터 각 단위 텍스트에 대한 임베딩 벡터를 입력 받고, 상기 임베딩 벡터를 기반으로 각 단위 텍스트에 대해 주의 집중 가중치를 결정하여 어텐션 맵을 생성하는 어텐션부를 더 포함하고,상기 디코더는,상기 어텐션부로부터 각 단위 텍스트에 대한 임베딩 벡터 및 어텐션 맵을 입력 받고, 상기 임베딩 벡터 및 어텐션 맵을 기반으로 각 단위 텍스트에 대한 음성을 합성하는, 음성 합성 장치.
- 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,입력되는 각 단위 텍스트에 대해 분류 표시 정보를 생성하는 전처리 모듈; 및상기 각 단위 텍스트 및 각 단위 텍스트에 대한 분류 표시 정보를 입력 받고, 상기 각 단위 텍스트 및 상기 분류 표시 정보에 기반하여 상기 단위 텍스트를 발화하는 음성을 합성하는 음성 합성 모듈을 포함하는, 음성 합성 장치.
- 청구항 7에 있어서,상기 전처리 모듈은,입력되는 각 단위 텍스트에 대해 문장 내 위치 및 문장 간 관계 중 하나 이상을 분류하는 분류부; 및상기 각 단위 텍스트의 문장 내 위치 또는 문장 간 관계에 따라 상기 분류 표시 정보를 생성하는 분류 표시부를 포함하는, 음성 합성 장치.
- 청구항 8에 있어서,상기 분류부는, 상기 단위 텍스트의 시작 부분과 끝 부분에 대해 상기 문장 내 위치를 분류하고,상기 분류 표시부는, 상기 단위 텍스트의 시작 부분과 끝 부분에 대해 상기 분류 표시 정보를 생성하는, 음성 합성 장치.
- 청구항 7에 있어서,상기 음성 합성 모듈은,상기 각 단위 텍스트를 입력 받고, 상기 각 단위 텍스트에 대한 제1 임베딩 벡터를 생성하는 제1 인코더;상기 각 단위 텍스트에 대한 분류 표시 정보를 입력 받고, 상기 분류 표시 정보에 대한 제2 임베딩 벡터를 생성하는 제2 인코더;상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터를 조합하여 조합 벡터를 생성하는 조합부; 및상기 조합 벡터를 기반으로 상기 각 단위 텍스트에 대한 음성을 합성하는 디코더를 포함하는, 음성 합성 장치.
- 청구항 10에 있어서,상기 분류 표시 정보는, 분류된 문장 내 위치 또는 문장 간 관계에 따라 인덱스가 부여된 것이고,상기 제2 인코더는,상기 각 단위 테스트의 분류 표시 정보에 대해 원-핫 인코딩(One-Hot Encoding) 벡터를 생성하며, 상기 원-핫 인코딩 벡터를 임베딩하여 상기 제2 임베딩 벡터를 생성하는, 음성 합성 장치.
- 청구항 10에 있어서,상기 음성 합성 장치는,상기 조합부로부터 각 단위 텍스트에 대한 조합 벡터를 입력 받고, 입력 받은 각 단위 텍스트에 대해 주의 집중 가중치를 결정하여 어텐션 맵을 생성하는 어텐션부를 더 포함하고,상기 디코더는,상기 어텐션부로부터 각 단위 텍스트에 대한 조합 벡터 및 어텐션 맵을 입력 받고, 상기 조합 벡터 및 어텐션 맵을 기반으로 각 단위 텍스트에 대한 음성을 합성하는, 음성 합성 장치.
- 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,입력되는 각 단위 텍스트에 기 설정된 분류 기호를 표시하는 동작; 및상기 분류 기호가 표시된 각 단위 텍스트를 입력 받고, 입력된 상기 단위 텍스트를 기반으로 상기 단위 텍스트를 발화하는 음성을 합성하는 동작을 포함하는, 음성 합성 방법.
- 하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,입력되는 각 단위 텍스트에 대해 분류 표시 정보를 생성하는 동작; 및상기 각 단위 텍스트 및 각 단위 텍스트에 대한 분류 표시 정보를 입력 받고, 상기 각 단위 텍스트 및 상기 분류 표시 정보에 기반하여 상기 단위 텍스트를 발화하는 음성을 합성하는 동작을 포함하는, 음성 합성 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/763,337 US20220366890A1 (en) | 2020-09-25 | 2020-12-22 | Method and apparatus for text-based speech synthesis |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0124664 | 2020-09-25 | ||
KR1020200124664A KR102392904B1 (ko) | 2020-09-25 | 2020-09-25 | 텍스트 기반의 음성 합성 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022065603A1 true WO2022065603A1 (ko) | 2022-03-31 |
Family
ID=80845540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2020/018935 WO2022065603A1 (ko) | 2020-09-25 | 2020-12-22 | 텍스트 기반의 음성 합성 방법 및 장치 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220366890A1 (ko) |
KR (2) | KR102392904B1 (ko) |
WO (1) | WO2022065603A1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102622609B1 (ko) * | 2022-06-10 | 2024-01-09 | 주식회사 딥브레인에이아이 | 문자소-음소 변환 장치 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132282A (ja) * | 2000-10-20 | 2002-05-09 | Oki Electric Ind Co Ltd | 電子テキスト読み上げ装置 |
KR20150030337A (ko) * | 2013-09-12 | 2015-03-20 | 한국전자통신연구원 | 음성인식을 위한 언어모델 생성 장치 및 방법 |
JP2015219735A (ja) * | 2014-05-19 | 2015-12-07 | 日本電信電話株式会社 | 文書表示装置、文書表示方法及びプログラム |
KR102057926B1 (ko) * | 2019-03-19 | 2019-12-20 | 휴멜로 주식회사 | 음성 합성 장치 및 그 방법 |
KR20200056261A (ko) * | 2018-11-14 | 2020-05-22 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6101470A (en) * | 1998-05-26 | 2000-08-08 | International Business Machines Corporation | Methods for generating pitch and duration contours in a text to speech system |
EP1318379A1 (en) * | 2000-09-11 | 2003-06-11 | Matsushita Electric Industrial Co., Ltd. | Path guide system |
US7136802B2 (en) * | 2002-01-16 | 2006-11-14 | Intel Corporation | Method and apparatus for detecting prosodic phrase break in a text to speech (TTS) system |
US7558732B2 (en) * | 2002-09-23 | 2009-07-07 | Infineon Technologies Ag | Method and system for computer-aided speech synthesis |
DE602006003723D1 (de) * | 2006-03-17 | 2009-01-02 | Svox Ag | Text-zu-Sprache-Synthese |
US8175879B2 (en) * | 2007-08-08 | 2012-05-08 | Lessac Technologies, Inc. | System-effected text annotation for expressive prosody in speech synthesis and recognition |
JP5198046B2 (ja) * | 2007-12-07 | 2013-05-15 | 株式会社東芝 | 音声処理装置及びそのプログラム |
US8949128B2 (en) * | 2010-02-12 | 2015-02-03 | Nuance Communications, Inc. | Method and apparatus for providing speech output for speech-enabled applications |
US8571871B1 (en) * | 2012-10-02 | 2013-10-29 | Google Inc. | Methods and systems for adaptation of synthetic speech in an environment |
KR20180077847A (ko) * | 2016-12-29 | 2018-07-09 | 주식회사 엔씨소프트 | 문장 검증 장치 및 방법 |
WO2018216729A1 (ja) * | 2017-05-24 | 2018-11-29 | 日本放送協会 | 音声ガイド生成装置、音声ガイド生成方法及び放送システム |
US10796686B2 (en) * | 2017-10-19 | 2020-10-06 | Baidu Usa Llc | Systems and methods for neural text-to-speech using convolutional sequence learning |
KR102199067B1 (ko) * | 2018-01-11 | 2021-01-06 | 네오사피엔스 주식회사 | 다중 언어 텍스트-음성 합성 방법 |
KR20200015418A (ko) * | 2018-08-02 | 2020-02-12 | 네오사피엔스 주식회사 | 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체 |
KR102057927B1 (ko) * | 2019-03-19 | 2019-12-20 | 휴멜로 주식회사 | 음성 합성 장치 및 그 방법 |
KR20200119217A (ko) * | 2019-04-09 | 2020-10-19 | 네오사피엔스 주식회사 | 사용자 인터페이스를 통해 텍스트에 대한 합성 음성을 생성하는 방법 및 시스템 |
JP7204989B2 (ja) * | 2019-08-03 | 2023-01-16 | グーグル エルエルシー | エンドツーエンド音声合成システムにおける表現度の制御 |
-
2020
- 2020-09-25 KR KR1020200124664A patent/KR102392904B1/ko active IP Right Grant
- 2020-12-22 US US17/763,337 patent/US20220366890A1/en active Pending
- 2020-12-22 WO PCT/KR2020/018935 patent/WO2022065603A1/ko active Application Filing
-
2022
- 2022-04-21 KR KR1020220049411A patent/KR102586737B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132282A (ja) * | 2000-10-20 | 2002-05-09 | Oki Electric Ind Co Ltd | 電子テキスト読み上げ装置 |
KR20150030337A (ko) * | 2013-09-12 | 2015-03-20 | 한국전자통신연구원 | 음성인식을 위한 언어모델 생성 장치 및 방법 |
JP2015219735A (ja) * | 2014-05-19 | 2015-12-07 | 日本電信電話株式会社 | 文書表示装置、文書表示方法及びプログラム |
KR20200056261A (ko) * | 2018-11-14 | 2020-05-22 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
KR102057926B1 (ko) * | 2019-03-19 | 2019-12-20 | 휴멜로 주식회사 | 음성 합성 장치 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20220366890A1 (en) | 2022-11-17 |
KR20220041448A (ko) | 2022-04-01 |
KR102392904B1 (ko) | 2022-05-02 |
KR20220054772A (ko) | 2022-05-03 |
KR102586737B1 (ko) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111292720B (zh) | 语音合成方法、装置、计算机可读介质及电子设备 | |
CN112086086B (zh) | 语音合成方法、装置、设备及计算机可读存储介质 | |
KR20210040319A (ko) | 엔티티 링킹 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 | |
WO2022095743A1 (zh) | 语音合成方法、装置、存储介质及电子设备 | |
CN110197655B (zh) | 用于合成语音的方法和装置 | |
CN110010136B (zh) | 韵律预测模型的训练和文本分析方法、装置、介质和设备 | |
WO2010030129A2 (en) | Multimodal unification of articulation for device interfacing | |
WO2021132797A1 (ko) | 반지도 학습 기반 단어 단위 감정 임베딩과 장단기 기억 모델을 이용한 대화 내에서 발화의 감정 분류 방법 | |
WO2021162362A1 (ko) | 음성 인식 모델을 학습시키는 방법 및 상기 방법을 이용하여 학습된 음성 인식 장치 | |
WO2020098269A1 (zh) | 一种语音合成方法及语音合成装置 | |
CN112331176B (zh) | 语音合成方法、装置、存储介质及电子设备 | |
WO2016208941A1 (ko) | 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템 | |
WO2022065603A1 (ko) | 텍스트 기반의 음성 합성 방법 및 장치 | |
WO2022030732A1 (ko) | 텍스트 전처리 장치 및 방법 | |
CN112309367A (zh) | 语音合成方法、装置、存储介质及电子设备 | |
WO2021172700A1 (ko) | 이미지로부터 추출한 텍스트의 블록화 시스템 및 그 방법 | |
WO2022191366A1 (ko) | 전자 장치 및 그 제어 방법 | |
WO2023238975A1 (ko) | 문자소-음소 변환 장치 및 방법 | |
WO2021060591A1 (ko) | 캐릭터 발화 맥락에 따른 음성합성 모델 변경장치 | |
WO2022154341A1 (ko) | 음성 합성 시스템의 동작방법 | |
WO2022085970A1 (ko) | 사용자 데이터텍스트에 기반하여 영상을 생성하는 방법 및 그를 위한 전자 장치 및 텍스트에 기반하여 영상을 생성하는 방법 | |
WO2018199376A1 (ko) | 듣기 학습을 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
WO2018030595A1 (ko) | 등장인물 추출 방법 및 장치 | |
CN117219116B (zh) | 现代汉语语音分析方法、系统及存储介质 | |
CN115392189B (zh) | 多语种混合语料的生成方法及装置、训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20955401 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20955401 Country of ref document: EP Kind code of ref document: A1 |