WO2022108040A1 - 음성의 보이스 특징 변환 방법 - Google Patents

음성의 보이스 특징 변환 방법 Download PDF

Info

Publication number
WO2022108040A1
WO2022108040A1 PCT/KR2021/010116 KR2021010116W WO2022108040A1 WO 2022108040 A1 WO2022108040 A1 WO 2022108040A1 KR 2021010116 W KR2021010116 W KR 2021010116W WO 2022108040 A1 WO2022108040 A1 WO 2022108040A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
text
neural network
artificial neural
feature value
Prior art date
Application number
PCT/KR2021/010116
Other languages
English (en)
French (fr)
Inventor
최홍섭
박승원
Original Assignee
주식회사 마인즈랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마인즈랩 filed Critical 주식회사 마인즈랩
Priority to EP21783381.3A priority Critical patent/EP4030421A4/en
Priority to US17/500,600 priority patent/US20220157329A1/en
Publication of WO2022108040A1 publication Critical patent/WO2022108040A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to a method and apparatus for converting a first speaker's voice into a second speaker's voice using a plurality of learned artificial neural networks.
  • the text-to-speech technology refers to a technology that converts inputted text into human audible speech and outputs it.
  • a voice database is constructed by separating the speaker's recorded voice into phoneme units, and then a suitable phoneme is extracted through analysis of the input text, and a synthesized sound is generated by connecting the extracted phonemes. .
  • the present invention is to solve the above-mentioned problems. Rather than simply 'synthesizing' voices by continuously outputting pre-recorded voices, a more natural voice is 'generated' by 'generating' the previously generated voice into the voice of a specific speaker. would like to provide
  • the present invention is to convert a voice without degrading the quality.
  • a method of converting a voice characteristic of a voice includes generating a first audio vector corresponding to a first voice using a first artificial neural network, wherein the first audio vector is the first a text characteristic value of a voice, a voice characteristic value of the first voice, and a style characteristic value of the first voice in an indistinguishable form, wherein the first voice is a voice according to a first text utterance of a first speaker; generating a first text feature value corresponding to the first text using a second artificial neural network; generating a second audio vector from which a voice feature value of the first voice is removed from the first audio vector by using the first text feature value and a third artificial neural network; and generating a second voice in which the characteristics of the target voice are reflected by using the second audio vector and the voice feature values of the target voice.
  • the generating of the first text feature value may include: generating a second text from the first voice; and generating the first text based on the second text.
  • the method for converting speaker characteristics of speech includes, before generating the first audio vector, learning the first artificial neural network, the second artificial neural network, and the third artificial neural network; may include more.
  • the learning step is a step of generating a fifth voice in which the voice characteristics of a second speaker are reflected from a third voice using the first artificial neural network, the second artificial neural network, and the third artificial neural network, and the third voice is a voice according to the third text utterance of the first speaker; and learning the first artificial neural network, the second artificial neural network, and the third artificial neural network based on a difference between the fifth voice and the fourth voice, wherein the fourth voice is the third voice of the second speaker.
  • It is a voice according to the text utterance; may include.
  • the method for converting a speaker characteristic of a voice may further include a step of checking a voice characteristic value of the target voice before generating the second voice.
  • the apparatus In an apparatus for converting a voice characteristic of a speech according to an embodiment of the present invention, the apparatus generates a first audio vector corresponding to a first speech using a first artificial neural network, and the first audio vector is a text feature value of one voice, a voice feature value of the first voice, and a style feature value of the first voice in an indistinguishable form, wherein the first voice is a voice according to a first text utterance of a first speaker;
  • a second artificial neural network is used to generate a first text feature value corresponding to the first text, and the first text feature value and a third artificial neural network are used to generate a voice feature of the first voice in the first audio vector.
  • a second audio vector from which a value has been removed may be generated, and a second voice in which the characteristic of the target voice is reflected may be generated using the second audio vector and a voice characteristic value of the target voice.
  • the device may generate a second text from the first voice, and generate the first text based on the second text.
  • the device may train the first artificial neural network, the second artificial neural network, and the third artificial neural network before generating the first audio vector.
  • the device In learning the artificial neural networks, the device generates a fifth voice in which the voice characteristics of the second speaker are reflected from a third voice using the first artificial neural network, the second artificial neural network, and the third artificial neural network, , the third voice is a voice according to the third text utterance of the first speaker, and the first artificial neural network, the second artificial neural network, and the third artificial neural network are generated based on the difference between the fifth voice and the fourth voice.
  • the fourth voice may be a voice according to the third text utterance of the second speaker.
  • the device may check a voice feature value of the target voice before generating the second voice.
  • FIG. 1 is a diagram schematically illustrating the configuration of a voice generating system according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating the configuration of a voice conversion device provided in a server according to an embodiment of the present invention.
  • 3 and 4 are diagrams for explaining an exemplary structure of an artificial neural network learned by the speech conversion apparatus of the present invention.
  • FIG. 5 and 6 are diagrams for explaining a voice conversion apparatus according to the first embodiment of the present invention.
  • FIG. 7 and 8 are diagrams for explaining a voice conversion apparatus according to a second embodiment of the present invention.
  • 9 and 10 are diagrams for explaining a process of learning the voice conversion apparatus according to the first embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a method of converting voice features of a voice performed by the voice converting apparatus according to the first embodiment of the present invention.
  • a method of converting a voice characteristic of a voice includes generating a first audio vector corresponding to a first voice using a first artificial neural network, wherein the first audio vector is the first a text characteristic value of a voice, a voice characteristic value of the first voice, and a style characteristic value of the first voice in an indistinguishable form, wherein the first voice is a voice according to a first text utterance of a first speaker; generating a first text feature value corresponding to the first text using a second artificial neural network; generating a second audio vector from which a voice feature value of the first voice is removed from the first audio vector by using the first text feature value and a third artificial neural network; and generating a second voice in which the characteristics of the target voice are reflected by using the second audio vector and the voice feature values of the target voice.
  • FIG. 1 is a diagram schematically illustrating the configuration of a voice generating system according to an embodiment of the present invention.
  • the voice generating system may convert a voice according to the utterance of the first speaker into a voice according to the utterance of the second speaker by using a plurality of learned artificial neural networks.
  • Such a voice generating system may include a server 100 , a user terminal 200 , an external device 300 , and a communication network 400 as shown in FIG. 1 .
  • an 'artificial neural network' such as the first artificial neural network, the second artificial neural network, and the third artificial neural network is a neural network that has been properly trained for a service performed by the server 100 and/or the external device 300, and machine learning It may mean an artificial neural network learned by (Machine Learning) or deep learning (Deep Learning) technique.
  • Machine Learning may mean an artificial neural network learned by (Machine Learning) or deep learning (Deep Learning) technique.
  • the structure of such a neural network will be described later with reference to FIG. 3 .
  • 'voice' refers to a human voice or speech sound, and may mean a specific and physical sound produced through a human pronunciation organ.
  • the 'first voice' described in the present invention may be a sound according to the utterance of the first text by the first speaker.
  • such a voice may be generated by a person or may be generated by a device such as the server 100 . Therefore, in the present invention, the voice can be used as a concept encompassing sounds according to human speech.
  • 'generation' of voice is to generate voice using one or more individual frequency components constituting voice, and may be a concept distinct from 'synthesis' of voice. Therefore, the generation of voice refers to a method different from the method of synthesizing a voice in which a fragment of a voice previously recorded in a predetermined unit (eg, a fragment of a voice recorded in units of a phoneme) is simply concatenated according to the order of the target string.
  • a fragment of a voice previously recorded in a predetermined unit eg, a fragment of a voice recorded in units of a phoneme
  • 'conversion' of voice may mean converting voice characteristics of voice. That is, in the present invention, converting the voice may mean replacing the voice characteristics of the original voice with the voice characteristics of the target voice.
  • the user terminal 200 includes a user and a server 100 and/or an external device ( 300) may mean various types of devices.
  • the user terminal 200 according to an embodiment of the present invention may refer to various devices that transmit and receive data with the server 100 and/or the external device 300 .
  • the user terminal 200 transmits the first voice to be converted to the server 100 , and receives the converted voice (that is, a voice to which another speaker's voice characteristics are applied) from the server 100 . It may be a device that As shown in FIG. 1 , such a user terminal 200 may mean portable terminals 201 , 202 , 203 or a computer 204 .
  • the user terminal 200 may include a display means for displaying content and the like in order to perform the above-described function, and an input means for obtaining a user's input for the content.
  • the input means and the display means may be configured in various ways.
  • the input means may include, but is not limited to, a keyboard, a mouse, a trackball, a microphone, a button, a touch panel, and the like.
  • the external device 300 may refer to a device that sells a service for converting voice characteristics of voice.
  • the external device 300 transmits a user's voice to be converted to the server 100 , receives the converted voice from the server 100 , and various devices connected to the external device 300 (eg, a client terminal ( (not shown), etc.) may be a device for providing the generated voice.
  • the external device 300 may be a third party device for using the service for converting the voice characteristics of the voice provided by the server 100 for its own service.
  • this is only an example, and the use, purpose, and/or quantity of the external device 300 is not limited by the above description.
  • the communication network 400 may refer to a communication network that mediates data transmission and reception between components of a voice generation system.
  • the communication network 400 may include wired networks such as Local Area Networks (LANs), Wide Area Networks (WANs), Metropolitan Area Networks (MANs), Integrated Service Digital Networks (ISDNs), and the like, wireless LANs, CDMA, Bluetooth, satellite communication, and the like. may cover a wireless network, but the scope of the present invention is not limited thereto.
  • the server 100 may convert a voice according to the utterance of the first speaker into a voice according to the utterance of the second speaker using a plurality of learned artificial neural networks.
  • FIG. 2 is a diagram schematically illustrating the configuration of a voice conversion device 110 provided in the server 100 according to an embodiment of the present invention.
  • the voice conversion apparatus 110 may include a communication unit 111 , a control unit 112 , and a memory 113 . Also, although not shown in the drawings, the voice conversion apparatus 110 according to the present embodiment may further include an input/output unit, a program storage unit, and the like.
  • the communicator 111 includes hardware and hardware necessary for the voice conversion device 110 to transmit and receive signals such as a control signal or a data signal through a wired/wireless connection with another network device such as the user terminal 200 and/or the external device 300 . It may be a device comprising software.
  • the controller 112 may include any type of device capable of processing data, such as a processor.
  • the 'processor' may refer to a data processing device embedded in hardware having a physically structured circuit to perform a function expressed as, for example, a code or a command included in a program.
  • a microprocessor a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) Circuit
  • a processing device such as a field programmable gate array (FPGA) may be included, but the scope of the present invention is not limited thereto.
  • the memory 113 performs a function of temporarily or permanently storing data processed by the voice conversion device 110 .
  • the memory may include a magnetic storage medium or a flash storage medium, but the scope of the present invention is not limited thereto.
  • the memory 113 may temporarily and/or permanently store data (eg, coefficients) constituting the artificial neural networks.
  • the memory 113 may also store training data for learning artificial neural networks.
  • this is an example, and the spirit of the present invention is not limited thereto.
  • FIG. 3 and 4 are diagrams for explaining an exemplary structure of an artificial neural network learned by the speech conversion device 110 of the present invention.
  • the first artificial neural network, the second artificial neural network, and the third artificial neural network will be collectively referred to as an 'artificial neural network'.
  • the artificial neural network may be an artificial neural network according to a convolutional neural network (CNN) model as shown in FIG. 3 .
  • the CNN model may be a layer model used to extract features of input data by performing a plurality of computational layers (Convolutional Layer, Pooling Layer) in turn.
  • the controller 112 may construct or train an artificial neural network model by processing the learning data according to a supervised learning technique. A detailed description of how the controller 112 trains the artificial neural network will be described later.
  • the control unit 112 uses a plurality of training data to input any one input data to the artificial neural network, so that an output value generated is close to a value marked on the corresponding training data.
  • the artificial neural network can be trained by repeating the process of updating the weight of each node.
  • the controller 112 may update the weight (or coefficient) of each layer and/or each node according to a back propagation algorithm.
  • the control unit 112 generates a convolution layer for extracting feature values of input data, and a pooling layer that forms a feature map by combining the extracted feature values. can do.
  • control unit 112 combines the generated feature maps to generate a fully connected layer that prepares to determine the probability that the input data corresponds to each of a plurality of items.
  • the controller 112 may calculate an output layer including an output corresponding to input data.
  • input data is divided into 5X7 blocks, a 5X3 unit block is used to generate a convolution layer, and a 1X4 or 1X2 unit block is used to generate a pooling layer.
  • this is exemplary and the spirit of the present invention is not limited thereto. Accordingly, the type of input data and/or the size of each block may be variously configured.
  • such an artificial neural network may be stored in the above-described memory 113 in the form of coefficients of at least one node constituting the artificial neural network, weights of nodes, and coefficients of a function defining a relationship between a plurality of layers constituting the artificial neural network.
  • the structure of the artificial neural network may also be stored in the memory 113 in the form of source code and/or a program.
  • the artificial neural network according to an embodiment of the present invention may be an artificial neural network according to a recurrent neural network (RNN) model as shown in FIG. 4 .
  • RNN recurrent neural network
  • the artificial neural network according to such a recurrent neural network (RNN) model includes an input layer L1 including at least one input node N1 and a hidden layer L2 including a plurality of hidden nodes N2. ) and an output layer L3 including at least one output node N3 .
  • a content characteristic value, a style characteristic value, a voice characteristic value, etc. may be input to at least one input node N1 of the input layer L1 .
  • a detailed description of the content characteristic value, the style characteristic value, and the voice characteristic value will be described later.
  • the hidden layer L2 may include one or more fully connected layers as illustrated.
  • the artificial neural network may include a function (not shown) defining a relationship between each hidden layer.
  • At least one output node N3 of the output layer L3 may include an output value generated from the input value of the input layer L1 by the artificial neural network under the control of the controller 112 .
  • the output layer L3 may include at least one pixel value constituting an image corresponding to the above-described content characteristic value, style characteristic value, and voice characteristic value.
  • this is an example, and the spirit of the present invention is not limited thereto.
  • a value included in each node of each layer may be a vector.
  • each node may include a weight corresponding to the importance of the node.
  • the artificial neural network uses a first function (F1) defining the relationship between the input layer (L1) and the hidden layer (L2) and a second function (F2) defining the relationship between the hidden layer (L2) and the output layer (L3).
  • F1 defining the relationship between the input layer (L1) and the hidden layer (L2)
  • F2 defining the relationship between the hidden layer (L2) and the output layer (L3).
  • the first function F1 may define a connection relationship between the input node N1 included in the input layer L1 and the hidden node N2 included in the hidden layer L2.
  • the second function F2 may define a connection relationship between the hidden node N2 included in the hidden layer L2 and the output node N2 included in the output layer L2.
  • the functions between the first function F1, the second function F2, and the hidden layer may include a recurrent neural network model that outputs a result based on an input of a previous node.
  • the first function F1 and the second function F2 may be learned based on a plurality of learning data.
  • functions between the plurality of hidden layers in addition to the above-described first function F1 and second function F2 may also be learned.
  • the artificial neural network according to an embodiment of the present invention may be trained in a supervised learning method based on labeled learning data.
  • the control unit 112 uses a plurality of training data to input any one input data to the artificial neural network, and the above-described function so that an output value generated approaches a value marked on the corresponding training data.
  • the artificial neural network can be trained by repeating the process of updating the fields (F1, F2, functions between hidden layers, etc.).
  • the controller 112 may update the above-described functions (F1, F2, functions between hidden layers, etc.) according to a back propagation algorithm.
  • F1, F2, functions between hidden layers, etc. a back propagation algorithm
  • FIGS. 3 and 4 are exemplary and the spirit of the present invention is not limited thereto. Accordingly, artificial neural networks of various types of models may correspond to the 'artificial neural networks' described throughout the specification.
  • FIGS. 5 and 6 are diagrams for explaining the voice conversion apparatus 110A according to the first embodiment of the present invention. Hereinafter, it will be described with reference to FIGS. 5 and 6 together.
  • the voice conversion apparatus 110A According to the input of the first voice (Voice_1), the first text (Text_1), and the target speaker ID (Target speaker ID), the voice conversion apparatus 110A according to the first embodiment of the present invention receives the voice from the first voice (Voice_1).
  • a second voice Voice_2 may be generated.
  • the second voice Voice_2 may be a voice in which the voice characteristics of the target speaker are reflected.
  • the voice conversion apparatus 110A may generate a first audio vector Audio_Vec_1 corresponding to the first voice Voice_1 using the first artificial neural network NN1 .
  • the first audio vector (Audio_Vec_1) is a text feature value (Text_Feature) of the first voice (Voice_1), a voice feature value (Voice_Feature) of the first voice (Voice_1), and a style feature value (Style_Feature) of the first voice (Voice_1) may be included in an indistinguishable form.
  • the text feature value may indicate a content characteristic of a character string corresponding to a voice or may mean a value in which the content characteristic is reflected.
  • Such a text feature value (Text_Feature) may be generated according to, for example, a process of dividing text into character units and converting each character into a vector value.
  • this is an example, and the spirit of the present invention is not limited thereto.
  • the style feature value may mean a value corresponding to at least one of the speaker's emotions, the speaker's situation, and the speaker's speech habits.
  • Such a style feature value may be a value reflecting, for example, a speaker's speaking speed, a habit of pronouncing with a specific support, and the like.
  • the voice feature value may mean a value corresponding to the speaker's fundamental voice characteristics, regardless of the speaker's emotions or the situation the speaker is in.
  • the first artificial neural network NN1 may refer to a neural network that has learned a correlation between a voice and a vector included in the training data based on training data including a voice and a vector corresponding to the voice.
  • the first artificial neural network NN1 may output an audio vector corresponding to the voice to be vectorized according to the input of the voice.
  • the first audio vector (Audio_Vec_1) output (or generated) by the first artificial neural network (NN1) according to the input of the first voice (Voice_1) is the text feature value of the first voice (Voice_1) as described above.
  • (Text_Feature) a voice feature value (Voice_Feature) of the first voice (Voice_1)
  • style_Feature a style feature value of the first voice (Voice_1)
  • 'indistinguishable form' may mean a form in which it is impossible to distinguish individual feature values using general techniques or intuitively.
  • the individual feature values described above are included in a vector in an indistinguishable form, the individual feature values cannot be properly utilized. For example, it was impossible to convert a voice by extracting and changing only the voice feature value from the audio vector, or to convert the style by extracting and changing only the style feature value.
  • voice conversion with significantly improved quality can be performed by extracting and replacing only the components contributing to the voice characteristics of the corresponding voice from the audio vector generated from the voice using the learned artificial neural network.
  • the speech conversion apparatus 110A may generate a first text feature value Text_Feature_1 corresponding to the first text Text_1 using the second artificial neural network NN2 .
  • the first text Text_1 may be a text corresponding to the first voice Voice_1.
  • the first voice Voice_1 may be a voice according to the utterance of the first text Text_1 by the first speaker.
  • the second artificial neural network may refer to a neural network that has learned a correlation between text and a vector included in the training data based on training data including a text and a vector corresponding to the content of the text. .
  • the second artificial neural network NN2 may output a text feature value corresponding to the content of the text according to the input of the text.
  • the voice conversion apparatus 110A may generate a style feature value (Style_Feature) corresponding to the first voice (Voice_1) using a fourth artificial neural network (not shown).
  • a fourth artificial neural network refers to a neural network that has learned the correlation between a voice and a style feature value included in the training data based on training data including a voice and a style feature value corresponding to the voice. can do.
  • the fourth artificial neural network may output a style feature value corresponding to the corresponding voice according to the input of the voice.
  • the speech conversion apparatus 110A uses the first text feature value Text_Feature_1 generated according to the above-described process and the third artificial neural network NN3 in the first audio vector (Audio_Vec_1).
  • a second audio vector (Audio_Vec_2) from which the voice feature value (Voice_Feature) of the first voice is removed may be generated.
  • the third artificial neural network NN3 may refer to a neural network trained to output a voice vector from which a voice feature value is removed according to input of a voice vector and text feature value.
  • the style feature value (Style_Feature) may be a constant (ie, a value that does not change according to the change of the speaker). Accordingly, the speech conversion apparatus 110A generates a second audio vector (Audio_Vec_2) from which the voice feature value (Voice_Feature) of the first voice is removed from the first audio vector (Audio_Vec_1) in consideration of only the first text feature value (Text_Feature_1). can do.
  • the second audio vector (Audio_Vec_2) is a vector from which the voice feature value (Voice_Feature) has been removed as described above, it has the potential to be changed to the voice of the speaker according to the addition of the voice feature value of the speaker. It may be a vector with
  • the speech conversion apparatus 110A further considers the style feature value identified from the first voice Voice_1 in addition to the first text feature value Text_Feature_1. 2 audio vectors (Audio_Vec_2) may be generated.
  • the voice conversion apparatus 110A may check the voice feature value (Target_Voice_Feature) of the target voice by using a voice feature value generator (Feature Generator).
  • Feature Generator a voice feature value generator
  • the voice feature value generator may be implemented in various ways.
  • the voice feature value generator may be configured to output the voice feature value of the target speaker according to the input of the identification number (or identification information) of the target speaker.
  • the voice feature generator may be configured to include a pre-built database, and the database may store features of a plurality of target voices matched with identification information.
  • the voice feature value generator may be configured as an artificial neural network that outputs a voice feature value of a corresponding voice according to an input of the voice.
  • the voice conversion apparatus 110A may input a voice to a voice feature value generator and acquire (or confirm) a voice feature value of the corresponding voice as a response.
  • voice feature generator Feature Generator
  • spirit of the present invention is not limited thereto.
  • the voice conversion apparatus 110A generates a second voice (Voice_2) in which the characteristics of the target voice are reflected by using the second audio vector (Audio_Vec_2) and the voice feature value (Target_Voice_Feature) of the target voice. can do.
  • the target voice may be, for example, the voice of the second speaker.
  • the present invention can perform speech conversion with significantly improved quality.
  • more sophisticated speech conversion can be performed by extracting with reference to the remaining components. .
  • FIGS. 7 and 8 are diagrams for explaining the voice conversion apparatus 110B according to the second embodiment of the present invention. Hereinafter, it will be described with reference to FIGS. 7 and 8 together.
  • the voice conversion apparatus 110A According to the input of the first voice (Voice_1) and the target speaker ID (Target speaker ID), the voice conversion apparatus 110A according to the first embodiment of the present invention generates a second voice (Voice_2) from the first voice (Voice_1). can create In this case, the second voice Voice_2 may be a voice in which the voice characteristics of the target speaker are reflected.
  • the first text Text_1 may be omitted.
  • the speech conversion apparatus 110B includes a speech-to-text conversion engine (STT Engine) for generating a first text (Text_1) from a first voice (Voice_1) a first part (112B) and a second part 111B.
  • STT Engine speech-to-text conversion engine
  • the speech conversion apparatus 110B may generate the first text Text_1 corresponding to the first voice Voice_1 by using a speech-to-text conversion engine (STT Engine).
  • STT Engine speech-to-text conversion engine
  • the speech-to-text conversion engine (STT Engine) may be implemented based on various well-known technologies for texting speech in the form of sound.
  • the speech conversion apparatus 110B may generate the second text from the first voice and generate the first text Text_1 based on the generated second text.
  • the voice conversion apparatus 110B may generate a first audio vector Audio_Vec_1 corresponding to the first voice Voice_1 by using the first artificial neural network NN1 .
  • the first audio vector (Audio_Vec_1) is a text feature value (Text_Feature) of the first voice (Voice_1), a voice feature value (Voice_Feature) of the first voice (Voice_1), and a style feature value (Style_Feature) of the first voice (Voice_1) may be included in an indistinguishable form.
  • the text feature value may indicate a content characteristic of a character string corresponding to a voice or may mean a value in which the content characteristic is reflected.
  • Such a text feature value (Text_Feature) may be generated according to, for example, a process of dividing text into character units and converting each character into a vector value.
  • this is an example, and the spirit of the present invention is not limited thereto.
  • the style feature value may mean a value corresponding to at least one of the speaker's emotions, the speaker's situation, and the speaker's speech habits.
  • Such a style feature value may be a value reflecting, for example, a speaker's speaking speed, a habit of pronouncing with a specific support, and the like.
  • the voice feature value may mean a value corresponding to the speaker's fundamental voice characteristics, regardless of the speaker's emotions or the situation the speaker is in.
  • the first artificial neural network NN1 may refer to a neural network that has learned a correlation between a voice and a vector included in the training data based on training data including a voice and a vector corresponding to the voice.
  • the first artificial neural network NN1 may output an audio vector corresponding to the voice to be vectorized according to the input of the voice.
  • the first audio vector (Audio_Vec_1) output (or generated) by the first artificial neural network (NN1) according to the input of the first voice (Voice_1) is the text feature value of the first voice (Voice_1) as described above.
  • (Text_Feature) a voice feature value (Voice_Feature) of the first voice (Voice_1)
  • style_Feature a style feature value of the first voice (Voice_1)
  • the 'indistinguishable form' may mean a form in which it is impossible to distinguish individual feature values using general techniques or intuitively.
  • the individual feature values described above are included in a vector in an indistinguishable form, the individual feature values cannot be properly utilized. For example, it was impossible to convert a voice by extracting and changing only the voice feature value from the audio vector, or to convert the style by extracting and changing only the style feature value.
  • voice conversion with significantly improved quality can be performed by extracting and replacing only the components contributing to the voice characteristics of the corresponding voice from the audio vector generated from the voice using the learned artificial neural network.
  • the speech conversion apparatus 110B may generate a first text feature value Text_Feature_1 corresponding to the first text Text_1 by using the second artificial neural network NN2 .
  • the first text Text_1 is generated from the first voice Voice_1 by the aforementioned speech-to-text conversion engine (STT Engine), and may be text corresponding to the first voice Voice_1.
  • the first voice Voice_1 may be a voice according to the utterance of the first text Text_1 by the first speaker.
  • the second artificial neural network may refer to a neural network that has learned a correlation between text and a vector included in the training data based on training data including a text and a vector corresponding to the content of the text. .
  • the second artificial neural network NN2 may output a text feature value corresponding to the content of the text according to the input of the text.
  • the voice conversion apparatus 110B may generate a style feature value (Style_Feature) corresponding to the first voice (Voice_1) using a fourth artificial neural network (not shown).
  • a fourth artificial neural network refers to a neural network that has learned the correlation between a voice and a style feature value included in the training data based on training data including a voice and a style feature value corresponding to the voice. can do.
  • the fourth artificial neural network may output a style feature value corresponding to the corresponding voice according to the input of the voice.
  • the speech conversion apparatus 110B uses the first text feature value Text_Feature_1 generated according to the above-described process and the third artificial neural network NN3 in the first audio vector Audio_Vec_1.
  • a second audio vector (Audio_Vec_2) from which the voice feature value (Voice_Feature) of the first voice is removed may be generated.
  • the third artificial neural network NN3 may refer to a neural network trained to output a voice vector from which a voice feature value is removed according to input of a voice vector and text feature value.
  • the style feature value (Style_Feature) may be a constant (ie, a value that does not change according to a change of the speaker). Accordingly, the speech conversion apparatus 110B generates a second audio vector (Audio_Vec_2) from which the voice feature value (Voice_Feature) of the first voice is removed from the first audio vector (Audio_Vec_1) in consideration of only the first text feature value (Text_Feature_1). can do.
  • the second audio vector (Audio_Vec_2) is a vector from which the voice feature value (Voice_Feature) has been removed as described above, it has the potential to be changed to the voice of the speaker according to the addition of the voice feature value of the speaker. It may be a vector with
  • the speech conversion apparatus 110B further considers the style feature value identified from the first voice Voice_1 in addition to the first text feature value Text_Feature_1. 2 audio vectors (Audio_Vec_2) may be generated.
  • the voice conversion apparatus 110B may check the voice feature value (Target_Voice_Feature) of the target voice by using a voice feature value generator (Feature Generator).
  • Feature Generator a voice feature value generator
  • the voice feature value generator may be implemented in various ways.
  • the voice feature value generator may be configured to output the voice feature value of the target speaker according to the input of the identification number (or identification information) of the target speaker.
  • the voice feature generator may be configured to include a pre-built database, and the database may store features of a plurality of target voices matched with identification information.
  • the voice feature value generator may be configured as an artificial neural network that outputs a voice feature value of a corresponding voice according to an input of the voice.
  • the voice conversion apparatus 110B may input a voice to a voice feature value generator and obtain (or confirm) a voice feature value of the corresponding voice as a response.
  • voice feature generator Feature Generator
  • spirit of the present invention is not limited thereto.
  • the voice conversion apparatus 110B generates a second voice (Voice_2) in which the characteristic of the target voice is reflected by using the second audio vector (Audio_Vec_2) and the voice feature value (Target_Voice_Feature) of the target voice. can do.
  • the target voice may be, for example, the voice of the second speaker.
  • the present invention can perform speech conversion with significantly improved quality.
  • more sophisticated speech conversion can be performed by extracting with reference to the remaining components.
  • only components contributing to the voice characteristics of the corresponding voice can be replaced without a separate text input.
  • FIGS. 9 and 10 are diagrams for explaining a process of learning the voice conversion apparatus 110A according to the first embodiment of the present invention. Hereinafter, it will be described with reference to FIGS. 9 and 10 together.
  • the speech conversion apparatus 110A uses a first artificial neural network NN1, a second artificial neural network NN2, and a third artificial neural network NN3 to obtain a second voice from a third voice (Voice_3).
  • a fifth voice (Voice_5) in which the second speaker's voice feature (Speaker_2_Voice_Feature) is reflected may be generated.
  • the third voice may be a voice according to the first speaker's utterance of the third text Text_3.
  • the speech conversion apparatus 110A includes a first artificial neural network NN1, a second artificial neural network NN2 and The third artificial neural network NN3 may be trained.
  • the fourth voice Voice_4 may be a voice according to the second speaker's utterance of the third text Text_3 .
  • the voice conversion apparatus 110A may obtain an error (Error_1) by inputting the fourth voice (Voice_4) and the fifth voice (Voice_5) to the discriminator 120 .
  • the speech conversion apparatus 110A may calculate the errors (Error_2, Error_3, Error_4) for one or more components by propagating the obtained error (Error_1) in the reverse direction.
  • the speech conversion apparatus 110A adjusts the parameters of the components in a direction to reduce the calculated errors (Error_1, Error_2, Error_3, Error_4) to the first artificial neural network (NN1), the second artificial neural network (NN2) and the second 3 Artificial neural network (NN3) can be trained.
  • the artificial neural networks using the difference between the voice (the fourth voice (Voice_4)) according to the utterance of the same speaker and the voice (the fifth voice (Voice_5)) generated according to the transformation can improve the accuracy of speech conversion by learning
  • FIG. 11 is a flowchart illustrating a method of converting voice features of a voice performed by the voice converting apparatus 110A according to the first embodiment of the present invention. Hereinafter, it will be described with reference to FIGS. 1 to 6 and FIGS. 9 to 10 together.
  • the speech conversion apparatus 110A uses a difference between the speaker's voice and the speech converted to the target of the speaker, the first artificial neural network NN1, the second artificial neural network NN2, and the third The artificial neural network NN3 can be trained. (S1010)
  • FIGS. 9 and 10 are diagrams for explaining a process of learning the voice conversion apparatus 110A according to the first embodiment of the present invention. Hereinafter, it will be described with reference to FIGS. 9 and 10 together.
  • the speech conversion apparatus 110A uses a first artificial neural network NN1, a second artificial neural network NN2, and a third artificial neural network NN3 to obtain a second voice from a third voice (Voice_3).
  • a fifth voice (Voice_5) in which the second speaker's voice feature (Speaker_2_Voice_Feature) is reflected may be generated.
  • the third voice may be a voice according to the first speaker's utterance of the third text Text_3.
  • the speech conversion apparatus 110A includes a first artificial neural network NN1, a second artificial neural network NN2 and The third artificial neural network NN3 may be trained.
  • the fourth voice Voice_4 may be a voice according to the second speaker's utterance of the third text Text_3 .
  • the voice conversion apparatus 110A may input the fourth voice (Voice_4) and the fifth voice (Voice_5) to the discriminator 120 to obtain an error (Error_1).
  • the speech conversion apparatus 110A may calculate the errors (Error_2, Error_3, Error_4) for one or more components by propagating the obtained error (Error_1) in the reverse direction.
  • the speech conversion apparatus 110A adjusts the parameters of the components in a direction to reduce the calculated errors (Error_1, Error_2, Error_3, Error_4), the first artificial neural network (NN1), the second artificial neural network (NN2) and the second 3 Artificial neural network (NN3) can be trained.
  • the artificial neural networks using the difference between the voice (the fourth voice (Voice_4)) according to the utterance of the same speaker and the voice (the fifth voice (Voice_5)) generated according to the transformation can improve the accuracy of speech conversion by learning
  • the voice conversion apparatus 110A may generate a first audio vector Audio_Vec_1 corresponding to the first voice Voice_1 by using the first artificial neural network NN1 (S1020).
  • the first audio vector (Audio_Vec_1) is a text feature value (Text_Feature) of the first voice (Voice_1), a voice feature value (Voice_Feature) of the first voice (Voice_1), and a style feature value (Style_Feature) of the first voice (Voice_1) ) can be included in an indistinguishable form.
  • the text feature value may indicate a content characteristic of a character string corresponding to a voice or may mean a value in which the content characteristic is reflected.
  • Such a text feature value (Text_Feature) may be generated according to, for example, a process of dividing text into character units and converting each character into a vector value.
  • this is an example, and the spirit of the present invention is not limited thereto.
  • the style feature value may mean a value corresponding to at least one of the speaker's emotions, the speaker's situation, and the speaker's speech habits.
  • Such a style feature value may be a value reflecting, for example, a speaker's speaking speed, a habit of pronouncing with a specific support, and the like.
  • the voice feature value may mean a value corresponding to the speaker's fundamental voice characteristics, regardless of the speaker's emotions or the situation the speaker is in.
  • the first artificial neural network NN1 may refer to a neural network that has learned a correlation between a voice and a vector included in the training data based on training data including a voice and a vector corresponding to the voice.
  • the first artificial neural network NN1 may output an audio vector corresponding to the voice to be vectorized according to the input of the voice.
  • the first audio vector (Audio_Vec_1) output (or generated) by the first artificial neural network (NN1) according to the input of the first voice (Voice_1) is the text feature value of the first voice (Voice_1) as described above.
  • (Text_Feature) a voice feature value (Voice_Feature) of the first voice (Voice_1)
  • style_Feature a style feature value of the first voice (Voice_1)
  • 'indistinguishable form' may mean a form in which it is impossible to distinguish individual feature values using general techniques or intuitively.
  • the individual feature values described above are included in a vector in an indistinguishable form, the individual feature values cannot be properly utilized. For example, it was impossible to convert a voice by extracting and changing only the voice feature value from the audio vector, or to convert the style by extracting and changing only the style feature value.
  • voice conversion with significantly improved quality can be performed by extracting and replacing only the components contributing to the voice characteristics of the corresponding voice from the audio vector generated from the voice using the learned artificial neural network.
  • the speech conversion apparatus 110A may generate a first text feature value Text_Feature_1 corresponding to the first text Text_1 using the second artificial neural network NN2 ( S1030)
  • the first text Text_1 may be a text corresponding to the first voice Voice_1.
  • the first voice Voice_1 may be a voice according to the utterance of the first text Text_1 by the first speaker.
  • the second artificial neural network may refer to a neural network that has learned a correlation between text and a vector included in the training data based on training data including a text and a vector corresponding to the content of the text. .
  • the second artificial neural network NN2 may output a text feature value corresponding to the content of the text according to the input of the text.
  • the voice conversion apparatus 110A may generate a style feature value (Style_Feature) corresponding to the first voice (Voice_1) using a fourth artificial neural network (not shown).
  • a fourth artificial neural network refers to a neural network that has learned the correlation between a voice and a style feature value included in the training data based on training data including a voice and a style feature value corresponding to the voice. can do.
  • the fourth artificial neural network may output a style feature value corresponding to the corresponding voice according to the input of the voice.
  • the speech conversion apparatus 110A uses the first text feature value Text_Feature_1 generated according to the above-described process and the third artificial neural network NN3 in the first audio vector (Audio_Vec_1).
  • a second audio vector (Audio_Vec_2) from which the voice feature value (Voice_Feature) of the first voice is removed may be generated ( S1040 ).
  • the third artificial neural network NN3 may refer to a neural network trained to output a voice vector from which a voice feature value is removed according to input of a voice vector and text feature value.
  • the style feature value (Style_Feature) may be a constant (ie, a value that does not change according to the change of the speaker). Accordingly, the speech conversion apparatus 110A generates a second audio vector (Audio_Vec_2) from which the voice feature value (Voice_Feature) of the first voice is removed from the first audio vector (Audio_Vec_1) in consideration of only the first text feature value (Text_Feature_1). can do.
  • the second audio vector (Audio_Vec_2) is a vector from which the voice feature value (Voice_Feature) has been removed as described above, it has the potential to be changed to the voice of the speaker according to the addition of the voice feature value of the speaker. It may be a vector with
  • the speech conversion apparatus 110A further considers the style feature value identified from the first voice Voice_1 in addition to the first text feature value Text_Feature_1. 2 audio vectors (Audio_Vec_2) may be generated.
  • the voice conversion apparatus 110A may check the voice feature value (Target_Voice_Feature) of the target voice by using a voice feature value generator (Feature Generator). (S1050)
  • the voice feature value generator may be implemented in various ways.
  • the voice feature value generator may be configured to output the voice feature value of the target speaker according to the input of the identification number (or identification information) of the target speaker.
  • the voice feature generator may be configured to include a pre-built database, and the database may store features of a plurality of target voices matched with identification information.
  • the voice feature value generator may be configured as an artificial neural network that outputs a voice feature value of a corresponding voice according to an input of the voice.
  • the voice conversion apparatus 110A may input a voice to a voice feature value generator and acquire (or confirm) a voice feature value of the corresponding voice as a response.
  • voice feature generator Feature Generator
  • spirit of the present invention is not limited thereto.
  • the voice conversion apparatus 110A generates a second voice (Voice_2) in which the characteristics of the target voice are reflected by using the second audio vector (Audio_Vec_2) and the voice feature value (Target_Voice_Feature) of the target voice.
  • the target voice may be, for example, the voice of the second speaker.
  • the present invention can perform speech conversion with significantly improved quality.
  • more sophisticated speech conversion can be performed by extracting with reference to the remaining components. .
  • the above-described embodiment according to the present invention may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium.
  • the medium may be to store a program executable by a computer. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.
  • the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field.
  • Examples of the computer program may include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • connection or connection members of lines between the components shown in the drawings illustratively represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections.
  • connection or circuit connections unless there is a specific reference such as "essential” or "importantly", it may not be a necessary component for the application of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 일 실시예에 따른 음성의 보이스 특징을 변환하는 방법은, 제1 인공 신경망을 이용하여 제1 음성에 대응되는 제1 오디오 벡터를 생성하는 단계로써, 상기 제1 오디오 벡터는 상기 제1 음성의 텍스트 특징 값, 상기 제1 음성의 보이스 특징 값 및 상기 제1 음성의 스타일 특징 값을 구별 불가능한 형태로 포함하고, 상기 제1 음성은 제1 화자의 제1 텍스트 발화에 따른 음성이고; 제2 인공 신경망을 이용하여 상기 제1 텍스트에 대응되는 제1 텍스트 특징 값을 생성하는 단계; 상기 제1 텍스트 특징 값 및 제3 인공 신경망을 이용하여 상기 제1 오디오 벡터에서 상기 제1 음성의 보이스 특징 값이 제거된 제2 오디오 벡터를 생성하는 단계; 및 상기 제2 오디오 벡터와 타겟 음성의 보이스 특징 값을 이용하여 상기 타겟 음성의 특징이 반영된 제2 음성을 생성하는 단계를 포함할 수 있다.

Description

음성의 보이스 특징 변환 방법
본 발명은 복수의 학습된 인공 신경망을 이용하여 제1 화자의 음성을 제2 화자의 음성으로 변환하는 방법 및 장치에 관한 것 이다.
음성 합성(Text To Speech) 기술은 입력된 텍스트를 인간이 들을 수 있는 음성으로 변환하여 출력하는 기술을 의미한다.
종래의 음성 합성 기술에 있어서, 화자의 녹음된 음성을 음소 단위로 분리하여 음성 데이터베이스를 구축한 후, 입력된 텍스트에 대한 분석을 통하여 적합한 음소를 추출하고 추출된 음소들을 연결함으로써 합성음을 생성하게 된다.
이와 같은 종래의 음성 합성 기술은 단순히 입력된 텍스트 문자에 대응되는 음성들을 연속적으로 출력하는 방식으로 생성되기에, 억양과 목소리 등이 다소 부자연스러워 단순 정보 전달 기능 외에 다른 목적으로 사용하기 어려운 측면이 있었다.
또한 음성 합성을 위해서는 방대한 크기의 음성 데이터베이스를 구축해야 하기에, 음성 합성을 위한 많은 노력과 시간이 요구되고, 생성된 음성은 음성의 스타일 또는 음성의 목소리를 변경할 수 없다는 점에서, 다양한 서비스 분야에 적용되기 어려운 문제점이 있었다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 단순히 미리 녹음된 음성들을 연속적으로 출력하는 방식으로 음성을 '합성'하는 것이 아니라, 기존 생성된 음성을 특정 화자의 음성으로 '생성'함으로써 보다 자연스러운 음성을 제공하고자 한다.
또한 본 발명은 품질의 저하 없이 음성을 변환하고자 한다.
본 발명의 일 실시예에 따른 음성의 보이스 특징을 변환하는 방법은, 제1 인공 신경망을 이용하여 제1 음성에 대응되는 제1 오디오 벡터를 생성하는 단계로써, 상기 제1 오디오 벡터는 상기 제1 음성의 텍스트 특징 값, 상기 제1 음성의 보이스 특징 값 및 상기 제1 음성의 스타일 특징 값을 구별 불가능한 형태로 포함하고, 상기 제1 음성은 제1 화자의 제1 텍스트 발화에 따른 음성이고; 제2 인공 신경망을 이용하여 상기 제1 텍스트에 대응되는 제1 텍스트 특징 값을 생성하는 단계; 상기 제1 텍스트 특징 값 및 제3 인공 신경망을 이용하여 상기 제1 오디오 벡터에서 상기 제1 음성의 보이스 특징 값이 제거된 제2 오디오 벡터를 생성하는 단계; 및 상기 제2 오디오 벡터와 타겟 음성의 보이스 특징 값을 이용하여 상기 타겟 음성의 특징이 반영된 제2 음성을 생성하는 단계;를 포함할 수 있다.
상기 제1 텍스트 특징 값을 생성하는 단계는 상기 제1 음성으로부터 제2 텍스트를 생성하는 단계; 및 상기 제2 텍스트에 기초하여 상기 제1 텍스트를 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 음성의 화자 특징 변환 방법은 상기 제1 오디오 벡터를 생성하는 단계 이전에, 상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 학습시키는 단계;를 더 포함할 수 있다.
상기 학습시키는 단계는 상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 이용하여 제3 음성으로부터 제2 화자의 보이스 특징이 반영된 제5 음성을 생성하는 단계로써, 상기 제3 음성은 제1 화자의 제3 텍스트 발화에 따른 음성이고; 및 상기 제5 음성과 제4 음성의 차이에 기초하여 상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 학습시키는 단계로써, 상기 제4 음성은 상기 제2 화자의 상기 제3 텍스트 발화에 따른 음성이고;를 포함할 수 있다.
본 발명의 일 실시예에 따른 음성의 화자 특징 변환 방법은 상기 제2 음성을 생성하는 단계 이전에 상기 타겟 음성의 보이스 특징 값을 확인하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 음성의 보이스 특징을 변환하는 장치는, 상기 장치는 제1 인공 신경망을 이용하여 제1 음성에 대응되는 제1 오디오 벡터를 생성하고, 상기 제1 오디오 벡터는 상기 제1 음성의 텍스트 특징 값, 상기 제1 음성의 보이스 특징 값 및 상기 제1 음성의 스타일 특징 값을 구별 불가능한 형태로 포함하고, 상기 제1 음성은 제1 화자의 제1 텍스트 발화에 따른 음성이고, 제2 인공 신경망을 이용하여 상기 제1 텍스트에 대응되는 제1 텍스트 특징 값을 생성하고, 상기 제1 텍스트 특징 값 및 제3 인공 신경망을 이용하여 상기 제1 오디오 벡터에서 상기 제1 음성의 보이스 특징 값이 제거된 제2 오디오 벡터를 생성하고, 상기 제2 오디오 벡터와 타겟 음성의 보이스 특징 값을 이용하여 상기 타겟 음성의 특징이 반영된 제2 음성을 생성할 수 있다.
상기 장치는, 상기 제1 음성으로부터 제2 텍스트를 생성하고, 상기 제2 텍스트에 기초하여 상기 제1 텍스트를 생성할 수 있다.
상기 장치는 상기 제1 오디오 벡터를 생성하기 이전에, 상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 학습시킬 수 있다.
상기 장치는 상기 인공신경망들을 학습시킴에 있어서, 상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 이용하여 제3 음성으로부터 제2 화자의 보이스 특징이 반영된 제5 음성을 생성하고, 상기 제3 음성은 제1 화자의 제3 텍스트 발화에 따른 음성이고, 상기 제5 음성과 제4 음성의 차이에 기초하여 상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 학습시킬 수 있다. 이때 상기 제4 음성은 상기 제2 화자의 상기 제3 텍스트 발화에 따른 음성일 수 있다.
상기 장치는 상기 제2 음성을 생성하기 이전에, 상기 타겟 음성의 보이스 특징 값을 확인할 수 있다.
본 발명에 따르면 단순히 미리 녹음된 음성들을 연속적으로 출력하는 방식으로 음성을 '합성'하는 것이 아니라, 기존 생성된 음성을 특정 화자의 음성으로 '생성'함으로써 보다 자연스러운 음성을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 음성 생성 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 서버에 구비되는 음성 변환 장치의 구성을 개략적으로 도시한 도면이다.
도 3은 및 도 4는 본 발명의 음성 변환 장치에 의해 학습된 인공 신경망의 예시적인 구조를 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 제1 실시예에 따른 음성 변환 장치를 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 제2 실시예에 따른 음성 변환 장치를 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 제1 실시예에 따른 음성 변환 장치를 학습하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 제1 실시예에 따른 음성 변환 장치에 의해 수행되는 음성의 보이스 특징 변환 방볍을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 음성의 보이스 특징을 변환하는 방법은, 제1 인공 신경망을 이용하여 제1 음성에 대응되는 제1 오디오 벡터를 생성하는 단계로써, 상기 제1 오디오 벡터는 상기 제1 음성의 텍스트 특징 값, 상기 제1 음성의 보이스 특징 값 및 상기 제1 음성의 스타일 특징 값을 구별 불가능한 형태로 포함하고, 상기 제1 음성은 제1 화자의 제1 텍스트 발화에 따른 음성이고; 제2 인공 신경망을 이용하여 상기 제1 텍스트에 대응되는 제1 텍스트 특징 값을 생성하는 단계; 상기 제1 텍스트 특징 값 및 제3 인공 신경망을 이용하여 상기 제1 오디오 벡터에서 상기 제1 음성의 보이스 특징 값이 제거된 제2 오디오 벡터를 생성하는 단계; 및 상기 제2 오디오 벡터와 타겟 음성의 보이스 특징 값을 이용하여 상기 타겟 음성의 특징이 반영된 제2 음성을 생성하는 단계;를 포함할 수 있다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 음성 생성 시스템의 구성을 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 음성 생성 시스템은 복수의 학습된 인공 신경망을 이용하여 제1 화자의 발화에 따른 음성을 제2 화자의 발화에 따른 음성으로 변환할 수 있다.
이와 같은 본 발명의 일 실시예에 따른 음성 생성 시스템은 도 1에 도시된 바와 같이 서버(100), 사용자 단말(200), 외부장치(300) 및 통신망(400)을 포함할 수 있다.
본 발명에서 제1 인공 신경망, 제2 인공 신경망 및 제3 인공 신경망과 같은 '인공 신경망'은 서버(100) 및/또는 외부장치(300)가 수행하는 서비스에 적합하게 학습된 신경망으로, 머신 러닝(Machine Learning) 또는 딥러닝(Deep Learning) 기법에 의해 학습된 인공 신경망을 의미할 수 있다. 이와 같은 신경망의 구조에 대해서는 도 3을 참조하여 후술한다.
본 발명에서 '음성'(音聲)은 사람의 목소리나 말소리를 의미하는 것으로, 사람의 발음 기관을 통해 내는 구체적이고 물리적인 소리를 의미할 수 있다. 예를 들어 본 발명에서 설명하는 '제1 음성'은 제1 화자의 제1 텍스트 발화에 따른 소리 일 수 있다.
한편 본 발명의 일 실시예에서, 이와 같은 음성은 사람에 의해 생성될 수도 있고 서버(100)와 같은 장치에 의해 생성될 수도 있다. 따라서 본 발명에서 음성은 사람의 발화에 따른 소리를 포괄하는 개념으로 사용될 수 있다.
본 발명에서 음성의 '생성'은 음성을 구성하는 하나 이상의 개별 주파수 성분을 이용하여 음성을 발생시키는 것으로, 음성의 '합성'과 구별되는 개념일 수 있다. 따라서 음성의 생성은 소정의 단위로 미리 녹음된 음성의 조각(가령 음소 단위로 녹음된 음성의 조각)을 대상 문자열의 순서에 따라 단순히 이어붙이는 음성의 합성 방식과 상이한 방식을 의미한다.
본 발명에서 음성의 '변환'은 음성의 보이스 특징을 변환하는 것을 의미할 수 있다. 즉 본 발명에서 음성을 변환하는 것은 원본 음성의 보이스 특징을 타겟 음성의 보이스 특징으로 교체하는 것을 의미할 수 있다.
본 발명의 일 실시예에 따른 사용자 단말(200)은 사용자가 서버(100) 및/또는 외부장치(300)에 의해 제공되는 다양한 서비스를 이용할 수 있도록 사용자와 서버(100) 및/또는 외부장치(300)를 매개하는 다양한 형태의 장치를 의미할 수 있다. 바꾸어 말하면, 본 발명의 일 실시예에 따른 사용자 단말(200)은 서버(100) 및/또는 외부장치(300)와 데이터를 송수신 하는 다양한 장치를 의미할 수 있다.
본 발명의 일 실시예에 따른 사용자 단말(200)은 서버(100)로 변환하고자 하는 제1 음성을 전송하고, 서버(100)로부터 변환된 음성(즉 다른 화자의 보이스 특징이 적용된 음성)을 수신하는 장치일 수 있다. 이와 같은 사용자 단말(200)은 도 1에 도시된 바와 같이, 휴대용 단말(201, 202, 203)을 의미할 수도 있고, 컴퓨터(204)를 의미할 수도 있다.
한편 사용자 단말(200)은 상술한 기능을 수행하기 위해 콘텐츠 등을 표시하기 위한 표시수단, 이러한 콘텐츠에 대한 사용자의 입력을 획득하기 위한 입력수단을 구비할 수 있다. 이 때 입력수단 및 표시수단은 다양하게 구성될 수 있다. 가령 입력수단은 키보드, 마우스, 트랙볼, 마이크, 버튼, 터치패널 등을 포함할 수 있으나 이에 한정되지 않는다.
본 발명의 일 실시예에 따른 외부장치(300)는 음성의 보이스 특징을 변환하는 서비스를 판매하는 장치를 의미할 수 있다. 가령 외부장치(300)는 변환하고자 하는 사용자의 음성을 서버(100)로 전송하고, 서버(100)로부터 변환된 음성을 수신하여, 외부장치(300)에 연결된 다양한 장치(예를 들어 클라이언트 단말(미도시) 등)에 생성된 음성을 제공하는 장치일 수 있다.
바꾸어말하면 외부장치(300)는 서버(100)가 제공하는 음성의 보이스 특징을 변환하는 서비스를 자신의 서비스에 이용하기 위한 제3 자의 장치일 수 있다. 다만 이는 예시적인것으로, 외부장치(300)의 용도, 목적 및/또는 수량이 상술한 내용에 의해 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 통신망(400)은 음성 생성 시스템의 각 구성 간의 데이터 송수신을 매개하는 통신망을 의미할 수 있다. 가령 통신망(400)은 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 서버(100)는 전술한 바와 같이 복수의 학습된 인공 신경망을 이용하여 제1 화자의 발화에 따른 음성을 제2 화자의 발화에 따른 음성으로 변환할 수 있다.
도 2는 본 발명의 일 실시예에 따른 서버(100)에 구비되는 음성 변환 장치(110)의 구성을 개략적으로 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 음성 변환 장치(110)는 통신부(111), 제어부(112) 및 메모리(113)를 포함할 수 있다. 또한 도면에는 도시되지 않았으나, 본 실시예에 따른 음성 변환 장치(110)는 입/출력부, 프로그램 저장부 등을 더 포함할 수 있다.
통신부(111)는 음성 변환 장치(110)가 사용자 단말(200) 및/또는 외부장치(300)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
제어부(112)는 프로세서(Processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(Processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(113)는 음성 변환 장치(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 가령 메모리(113)는 인공 신경망들을 구성하는 데이터들(가령 계수들)을 일시적 및/또는 영구적으로 저장할 수 있다.
물론 메모리(113)는 인공 신경망들을 학습하기 위한 학습 데이터도 저장할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
도 3은 및 도 4는 본 발명의 음성 변환 장치(110)에 의해 학습된 인공 신경망의 예시적인 구조를 설명하기 위한 도면이다. 이하에서는 설명의 편의를 위하여 제1 인공 신경망, 제2 인공 신경망 및 제3 인공 신경망을 '인공 신경망'으로 통칭하여 설명한다.
본 발명의 일 실시예에 따른 인공 신경망은 도 3에 도시된 바와 같은 합성 곱 신경망(CNN: Convolutional Neural Network) 모델에 따른 인공 신경망일 수 있다. 이때 CNN 모델은 복수의 연산 레이어(Convolutional Layer, Pooling Layer)를 번갈아 수행하여 최종적으로는 입력 데이터의 특징을 추출하는 데 사용되는 계층 모델일 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 학습 데이터를 지도학습(Supervised Learning) 기법에 따라 처리하여 인공 신경망 모델을 구축하거나 학습시킬 수 있다. 제어부(112)가 인공 신경망을 학습시키는 방법에 대한 상세한 설명은 후술한다.
본 발명의 일 실시예에 따른 제어부(112)는 복수의 학습 데이터를 이용하여, 어느 하나의 입력 데이터를 인공 신경망에 입력하여 생성된 출력 값이 해당 학습 데이터에 표지된 값에 근접하도록 각 레이어 및/또는 각 노드의 가중치를 갱신하는 과정을 반복하여 수행함으로써 인공 신경망을 학습시킬 수 있다. 이때 본 발명의 일 실시예에 따른 제어부(112)는 역전파(Back Propagation) 알고리즘에 따라 각 레이어 및/또는 각 노드의 가중치(또는 계수)를 갱신할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 입력 데이터의 특징 값을 추출하기 위한 컨볼루션 레이어(Convolution layer), 추출된 특징 값을 결합하여 특징 맵을 구성하는 풀링 레이어(pooling layer)를 생성할 수 있다.
또한 본 발명의 일 실시예에 따른 제어부(112)는 생성된 특징 맵을 결합하여, 입력 데이터가 복수의 항목 각각에 해당할 확률을 결정할 준비를 하는 풀리 커넥티드 레이어(Fully Conected Layer)를 생성할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 입력 데이터에 대응되는 출력을 포함하는 아웃풋 레이어(Output Layer)를 산출할 수 있다.
도 3에 도시된 예시에서는, 입력 데이터가 5X7 형태의 블록으로 나누어지며, 컨볼루션 레이어의 생성에 5X3 형태의 단위 블록이 사용되고, 풀링 레이어의 생성에 1X4 또는 1X2 형태의 단위 블록이 사용되는 것으로 도시되었지만, 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다. 따라서 입력 데이터의 종류 및/또는 각 블록의 크기는 다양하게 구성될 수 있다.
한편 이와 같은 인공 신경망은 전술한 메모리(113)에 인공 신경망을 구성하는 적어도 하나의 노드의 계수, 노드의 가중치 및 인공 신경망을 구성하는 복수의 레이어 간의 관계를 정의하는 함수의 계수들의 형태로 저장될 수 있다. 물론 인공 신경망의 구조 또한 메모리(113)에 소스코드 및/또는 프로그램의 형태로 저장될 수 있다.
본 발명의 일 실시예에 따른 인공 신경망은 도 4에 도시된 바와 같은 순환 신경망(Recurrent Neural Network, RNN) 모델에 따른 인공 신경망일 수 있다.
도 4를 참조하면, 이와 같은 순환 신경망(RNN) 모델에 따른 인공 신경망은 적어도 하나의 입력 노드(N1)를 포함하는 입력 레이어(L1), 복수의 히든 노드(N2)를 포함하는 히든 레이어(L2) 및 적어도 하나의 출력 노드(N3)를 포함하는 출력 레이어(L3)를 포함할 수 있다. 이때 입력 레이어(L1)의 적어도 하나의 입력 노드(N1)에는 내용 특성값, 스타일 특성값 및 보이스 특성값 등이 입력될 수 있다. 내용 특성값, 스타일 특성값 및 보이스 특성값에 대한 상세한 설명은 후술한다.
히든 레이어(L2)는 도시된 바와 같이 전체적으로 연결된(Fully Connected) 하나 이상의 레이어를 포함할 수 있다. 히든 레이어(L2)가 복수의 레이어를 포함하는 경우, 인공 신경망은 각각의 히든 레이어 사이의 관계를 정의하는 함수(미도시)를 포함할 수 있다.
출력 레이어(L3)의 적어도 하나의 출력 노드(N3)는 제어부(112)의 제어에 따라 인공 신경망이 입력 레이어(L1)의 입력 값으로부터 생성한 출력 값을 포함할 수 있다. 가령 출력 레이어(L3)에는 전술한 내용 특성값, 스타일 특성값 및 보이스 특성값에 대응되는 이미지를 구성하는 적어도 하나의 픽셀 값을 포함할 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
각 레이어의 각 노드에 포함되는 값은 벡터일 수 있다. 또한 각 노드는 해당 노드의 중요도에 대응되는 가중치를 포함할 수도 있다.
한편 인공 신경망은 입력 레이어(L1)와 히든 레이어(L2)의 관계를 정의하는 제1 함수(F1) 및 히든 레이어(L2)와 출력 레이어(L3)의 관계를 정의하는 제2 함수(F2)를 포함할 수 있다.
제1 함수(F1)는 입력 레이어(L1)에 포함되는 입력 노드(N1)와 히든 레이어(L2)에 포함되는 히든 노드(N2)간의 연결관계를 정의할 수 있다. 이와 유사하게, 제2 함수(F2)는 히든 레이어(L2)에 포함되는 히든 노드(N2)와 출력 레이어(L2)에 포함되는 출력 노드(N2)간의 연결관계를 정의할 수 있다.
이와 같은 제1 함수(F1), 제2 함수(F2) 및 히든 레이어 사이의 함수들은 이전 노드의 입력에 기초하여 결과물을 출력하는 순환 신경망 모델을 포함할 수 있다.
제어부(112)에 의해 인공 신경망이 학습되는 과정에서, 복수의 학습 데이터에 기초하여 제1 함수(F1) 및 제2 함수(F2)가 학습될 수 있다. 물론 인공 신경망이 학습되는 과정에서 전술한 제1 함수(F1) 및 제2 함수(F2) 외에 복수의 히든 레이어 사이의 함수들 또한 학습될 수 있다.
본 발명의 일 실시예에 따른 인공 신경망은 표지(Labeled)된 학습 데이터를 기반으로 지도학습(Supervised Learning) 방식으로 학습될 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 복수의 학습 데이터를 이용하여, 어느 하나의 입력 데이터를 인공 신경망에 입력하여 생성된 출력 값이 해당 학습 데이터에 표지된 값에 근접하도록 전술한 함수들(F1, F2, 히든 레이어 사이의 함수들 등)을 갱신하는 과정을 반복하여 수행함으로써 인공 신경망을 학습시킬 수 있다.
이때 본 발명의 일 실시예에 따른 제어부(112)는 역전파(Back Propagation) 알고리즘에 따라 전술한 함수들(F1, F2, 히든 레이어 사이의 함수들 등)을 갱신할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
한편 도 3 및 도 4에서 설명한 인공 신경망의 종류 및/또는 구조는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다. 따라서 다양한 종류의 모델의 인공 신경망이 명세서를 통하여 설명하는 '인공 신경망'에 해당할 수 있다.
이하에서는 학습된 인공 신경망을 이용하여 음성의 보이스 특징을 변환하는 방법에 대해서 먼저 설명하고, 인공신경망의 학습 방법을 나중에 설명한다.
도 5 및 도 6은 본 발명의 제1 실시예에 따른 음성 변환 장치(110A)를 설명하기 위한 도면이다. 이하에서는 도 5 및 도 6을 함께 참조하여 설명한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제1 음성(Voice_1), 제1 텍스트(Text_1) 및 타겟 화자 ID(Target speaker ID)의 입력에 따라, 제1 음성(Voice_1)으로부터 제2 음성(Voice_2)을 생성할 수 있다. 이때 제2 음성(Voice_2)은 타겟 화자의 보이스 특징이 반영된 음성일 수 있다.
이 과정을 보다 상세히 살펴보면, 음성 변환 장치(110A)는 제1 인공 신경망(NN1)을 이용하여 제1 음성(Voice_1)에 대응되는 제1 오디오 벡터(Audio_Vec_1)를 생성할 수 있다. 이때 제1 오디오 벡터(Audio_Vec_1)는 제1 음성(Voice_1)의 텍스트 특징 값(Text_Feature), 제1 음성(Voice_1)의 보이스 특징 값(Voice_Feature) 및 제1 음성(Voice_1)의 스타일 특징 값(Style_Feature)을 구별 불가능한 형태로 포함할 수 있다.
본 발명에서 텍스트 특징 값(Text_Feature)은 음성에 대응되는 문자열의 내용상의 특징을 나타내거나 내용상의 특징이 반영된 값을 의미할 수 있다. 이와 같은 텍스트 특징 값(Text_Feature)은 가령 텍스트를 문자 단위로 나누고, 각각의 문자를 벡터값으로 변환하는 과정에 따라 생성된 것일 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 스타일 특징 값(Style_Feature)은 화자의 감정, 화자가 처한 상황 및 화자가 사용하는 말버릇 중 적어도 하나에 대응되는 값을 의미할 수 있다. 이와 같은 스타일 특징 값은 가령 화자가 말하는 속도, 특정 받침을 붙여 발음하는 습관 등을 반영한 값 일 수 있다.
본 발명에서 보이스 특징 값(Voice_Feature)은 화자의 감정이나 화자가 처한 상황과 무관한, 화자의 근본적인 목소리 특성에 대응되는 값을 의미할 수 있다.
본 발명에서 제1 인공 신경망(NN1)은 음성과 해당 음성에 대응되는 벡터를 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 음성과 벡터 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제1 인공 신경망(NN1)은 벡터화 하고자 하는 음성의 입력에 따라, 해당 음성에 대응되는 오디오 벡터를 출력할 수 있다.
한편 본 발명에서 제1 인공 신경망(NN1)이 제1 음성(Voice_1)의 입력에 따라 출력(또는 생성)하는 제1 오디오 벡터(Audio_Vec_1)는 전술한 바와 같이 제1 음성(Voice_1)의 텍스트 특징 값(Text_Feature), 제1 음성(Voice_1)의 보이스 특징 값(Voice_Feature) 및 제1 음성(Voice_1)의 스타일 특징 값(Style_Feature)을 구별 불가능한 형태로 포함할 수 있다. 여기서 '구별이 불가능한 형태'라는 것은 일반적인 기술을 이용하여 또는 직관적으로 개별 특징 값 들을 구분하는 것이 불가능한 형태인 것을 의미할 수 있다.
종래기술에 따르면, 벡터에 상술한 세 가지의 특징값들이 서로 구별할 수 없는 형태로 포함되어 있기에 개별 특징값들을 제대로 활용할 수 없었다. 예를 들어 오디오 벡터에서 본원과 같이 보이스 특징 값 만을 추출하여 변경함으로써 음성을 변환하거나, 스타일 특징 값 만을 추출하여 변경함으로써 스타일을 변환하는 등의 작업이 불가능하였다.
본원발명은 학습된 인공 신경망을 이용하여 음성으로부터 생성된 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출하여 교체함으로써 품질이 대폭 향상된 음성 변환을 수행할 수 있다.
특히 본원발명은 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출함에 있어서, 나머지 성분들을 참조하여 추출함으로써 보다 정교한 음성 변환을 수행할 수 있다. 이에 대한 상세한 설명은 후술한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제2 인공 신경망(NN2)을 이용하여 제1 텍스트(Text_1)에 대응되는 제1 텍스트 특징 값(Text_Feature_1)을 생성할 수 있다. 이때 제1 텍스트(Text_1)는 제1 음성(Voice_1)에 대응되는 텍스트 일 수 있다. 바꾸어 말하면 제1 음성(Voice_1)은 제1 화자의 제1 텍스트(Text_1) 발화에 따른 음성일 수 있다.
본 발명에서 제2 인공 신경망(NN2)은 텍스트와 해당 텍스트의 내용에 대응되는 벡터를 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 텍스트와 벡터 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제2 인공 신경망(NN2)은 텍스트의 입력에 따라, 해당 텍스트의 내용에 대응되는 텍스트 특징 값을 출력할 수 있다.
본 발명의 선택적 실시예에서, 음성 변환 장치(110A)는 제4 인공 신경망(미도시)을 이용하여 제1 음성(Voice_1)에 대응되는 스타일 특징 값(Style_Feature)을 생성할 수도 있다.
본 발명에서 제4 인공 신경망(미도시)은 음성과 해당 음성에 대응되는 스타일 특징 값을 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 음성과 스타일 특징 값 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제4 인공 신경망(미도시)은 음성의 입력에 따라, 해당 음성에 대응되는 스타일 특징 값을 출력할 수 있다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 상술한 과정에 따라 생성된 제1 텍스트 특징 값(Text_Feature_1)과 제3 인공 신경망(NN3)을 이용하여 제1 오디오 벡터(Audio_Vec_1)에서 제1 음성의 보이스 특징 값(Voice_Feature)이 제거된 제2 오디오 벡터(Audio_Vec_2)를 생성할 수 있다.
본 발명에서 제3 인공 신경망(NN3)은 음성 벡터와 텍스트 특징 값의 입력에 따라 보이스 특징 값이 제거된 음성 벡터를 출력하도록 학습된 신경망을 의미할 수 있다.
본 발명의 제1 실시예에서, 스타일 특징 값(Style_Feature)은 상수(즉 화자의 변경에 따라 변경되지 않는 값)일 수 있다. 따라서 음성 변환 장치(110A)는 제1 텍스트 특징 값(Text_Feature_1) 만을 고려하여, 제1 오디오 벡터(Audio_Vec_1)에서 제1 음성의 보이스 특징 값(Voice_Feature)이 제거된 제2 오디오 벡터(Audio_Vec_2)를 생성할 수 있다.
한편 본 발명에서 제2 오디오 벡터(Audio_Vec_2)는 전술한 바와 같이 보이스 특징 값(Voice_Feature)이 제거된 벡터이기에, 임의의 화자의 보이스 특징 값의 부가에 따라 해당 화자의 음성으로 변경될 수 있는 잠재력을 갖는 벡터일 수 있다.
제4 인공 신경망을 더 포함하는 본 발명의 선택적 실시예에서, 음성 변환 장치(110A)는 제1 텍스트 특징 값(Text_Feature_1) 외에, 제1 음성(Voice_1)으로부터 파악된 스타일 특징 값을 더 고려하여 제2 오디오 벡터(Audio_Vec_2)를 생성할 수도 있다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 보이스 특징 값 생성기(Feature Generator)를 이용하여 타겟 음성의 보이스 특징 값(Target_Voice_Feature)을 확인할 수 있다.
이때 보이스 특징 값 생성기(Feature Generator)는 다양한 방식으로 구현될 수 있다. 가령 보이스 특징 값 생성기(Feature Generator)는 타겟 화자의 식별 번호(또는 식별 정보) 입력에 따라, 해당 화자의 보이스 특징 값을 출력하도록 구성될 수 있다. 이를 위해서 보이스 특징 값 생성기(Feature Generator)는 미리 구축된 데이터베이스를 포함하도록 구성될 수 있으며, 데이터베이스에는 복수의 타겟 음성의 특징이 식별 정보와 매칭되어 저장되어 있을 수 있다.
또한 보이스 특징 값 생성기(Feature Generator)는 음성의 입력에 따라 해당 음성의 보이스 특징 값을 출력하는 인공 신경망으로 구성될 수도 있다. 이러한 경우 음성 변환 장치(110A)는 음성을 보이스 특징 값 생성기(Feature Generator)에 입력하고, 그 응답으로써 해당 음성의 보이스 특징 값을 획득(또는 확인)할 수 있다.
다만 전술한 보이스 특징 값 생성기(Feature Generator)의 구현 방식은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제2 오디오 벡터(Audio_Vec_2)와 타겟 음성의 보이스 특징 값(Target_Voice_Feature)을 이용하여 타겟 음성의 특징이 반영된 제2 음성(Voice_2)을 생성할 수 있다. 이때 타겟 음성은 가령 제2 화자의 음성일 수 있다.
이로써 본 발명은 품질이 대폭 향상된 음성 변환을 수행할 수 있으며, 특히 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출함에 있어서 나머지 성분들을 참조하여 추출함으로써 보다 정교한 음성 변환을 수행할 수 있다.
도 7 및 도 8은 본 발명의 제2 실시예에 따른 음성 변환 장치(110B)를 설명하기 위한 도면이다. 이하에서는 도 7 및 도 8을 함께 참조하여 설명한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제1 음성(Voice_1) 및 타겟 화자 ID(Target speaker ID)의 입력에 따라, 제1 음성(Voice_1)으로부터 제2 음성(Voice_2)을 생성할 수 있다. 이때 제2 음성(Voice_2)은 타겟 화자의 보이스 특징이 반영된 음성일 수 있다.
도 5 및 도 6에서 설명한 본 발명의 제1 실시예에 따른 음성 변환 장치(110A)와 대비하여 살펴보면, 본 발명의 제2 실시예에 따른 음성 변환 장치(110B)에 대해서는 제1 텍스트(Text_1)의 입력이 생략될 수 있다.
본 발명의 제2 실시예에 따른 음성 변환 장치(110B)는 제1 음성(Voice_1)으로부터 제1 텍스트(Text_1)를 생성하는 음성-텍스트 변환 엔진(STT Engine)을 포함하는 제1 부분(112B)과 제2 부분(111B)으로 구분될 수 있다. 이하에서는 제1 부분(112B)에 대해서 먼저 설명하고, 제2 부분(111B)에 대해서는 나중에 설명한다.
본 발명의 제2 실시예에 따른 음성 변환 장치(110B)는 음성-텍스트 변환 엔진(STT Engine)을 이용하여 제1 음성(Voice_1)에 대응되는 제1 텍스트(Text_1)를 생성할 수 있다. 이때 음성-텍스트 변환 엔진(STT Engine)은 소리 형태의 음성을 문자화 하는 다양한 공지의 기술에 기반하여 구현될 수 있다.
가령 음성 변환 장치(110B)는 제1 음성으로부터 제2 텍스트를 생성하고, 생성된 제2 텍스트에 기초하여 제1 텍스트(Text_1)를 생성할 수 있다.
본 발명의 제2 실시예에 따른 음성 변환 장치(110B)는 제1 인공 신경망(NN1)을 이용하여 제1 음성(Voice_1)에 대응되는 제1 오디오 벡터(Audio_Vec_1)를 생성할 수 있다. 이때 제1 오디오 벡터(Audio_Vec_1)는 제1 음성(Voice_1)의 텍스트 특징 값(Text_Feature), 제1 음성(Voice_1)의 보이스 특징 값(Voice_Feature) 및 제1 음성(Voice_1)의 스타일 특징 값(Style_Feature)을 구별 불가능한 형태로 포함할 수 있다.
본 발명에서 텍스트 특징 값(Text_Feature)은 음성에 대응되는 문자열의 내용상의 특징을 나타내거나 내용상의 특징이 반영된 값을 의미할 수 있다. 이와 같은 텍스트 특징 값(Text_Feature)은 가령 텍스트를 문자 단위로 나누고, 각각의 문자를 벡터값으로 변환하는 과정에 따라 생성된 것일 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 스타일 특징 값(Style_Feature)은 화자의 감정, 화자가 처한 상황 및 화자가 사용하는 말버릇 중 적어도 하나에 대응되는 값을 의미할 수 있다. 이와 같은 스타일 특징 값은 가령 화자가 말하는 속도, 특정 받침을 붙여 발음하는 습관 등을 반영한 값 일 수 있다.
본 발명에서 보이스 특징 값(Voice_Feature)은 화자의 감정이나 화자가 처한 상황과 무관한, 화자의 근본적인 목소리 특성에 대응되는 값을 의미할 수 있다.
본 발명에서 제1 인공 신경망(NN1)은 음성과 해당 음성에 대응되는 벡터를 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 음성과 벡터 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제1 인공 신경망(NN1)은 벡터화 하고자 하는 음성의 입력에 따라, 해당 음성에 대응되는 오디오 벡터를 출력할 수 있다.
한편 본 발명에서 제1 인공 신경망(NN1)이 제1 음성(Voice_1)의 입력에 따라 출력(또는 생성)하는 제1 오디오 벡터(Audio_Vec_1)는 전술한 바와 같이 제1 음성(Voice_1)의 텍스트 특징 값(Text_Feature), 제1 음성(Voice_1)의 보이스 특징 값(Voice_Feature) 및 제1 음성(Voice_1)의 스타일 특징 값(Style_Feature)을 구별 불가능한 형태로 포함할 수 있다. 여기서 '구별이 불가능한 형태'라는 것은 일반적인 기술을 이용하여 또는 직관적으로 개별 특징 값 들을 구분하는 것이 불가능한 형태인 것을 의미할 수 있다.
종래기술에 따르면, 벡터에 상술한 세 가지의 특징값들이 서로 구별할 수 없는 형태로 포함되어 있기에 개별 특징값들을 제대로 활용할 수 없었다. 예를 들어 오디오 벡터에서 본원과 같이 보이스 특징 값 만을 추출하여 변경함으로써 음성을 변환하거나, 스타일 특징 값 만을 추출하여 변경함으로써 스타일을 변환하는 등의 작업이 불가능하였다.
본원발명은 학습된 인공 신경망을 이용하여 음성으로부터 생성된 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출하여 교체함으로써 품질이 대폭 향상된 음성 변환을 수행할 수 있다.
특히 본원발명은 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출함에 있어서, 나머지 성분들을 참조하여 추출함으로써 보다 정교한 음성 변환을 수행할 수 있다. 이에 대한 상세한 설명은 후술한다.
본 발명의 제2 실시예에 따른 음성 변환 장치(110B)는 제2 인공 신경망(NN2)을 이용하여 제1 텍스트(Text_1)에 대응되는 제1 텍스트 특징 값(Text_Feature_1)을 생성할 수 있다. 이때 제1 텍스트(Text_1)는 전술한 음성-텍스트 변환 엔진(STT Engine)이 제1 음성(Voice_1)으로부터 생성한 것으로, 제1 음성(Voice_1)에 대응되는 텍스트 일 수 있다. 따라서 제1 음성(Voice_1)은 제1 화자의 제1 텍스트(Text_1) 발화에 따른 음성일 수 있다.
본 발명에서 제2 인공 신경망(NN2)은 텍스트와 해당 텍스트의 내용에 대응되는 벡터를 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 텍스트와 벡터 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제2 인공 신경망(NN2)은 텍스트의 입력에 따라, 해당 텍스트의 내용에 대응되는 텍스트 특징 값을 출력할 수 있다.
본 발명의 선택적 실시예에서, 음성 변환 장치(110B)는 제4 인공 신경망(미도시)을 이용하여 제1 음성(Voice_1)에 대응되는 스타일 특징 값(Style_Feature)을 생성할 수도 있다.
본 발명에서 제4 인공 신경망(미도시)은 음성과 해당 음성에 대응되는 스타일 특징 값을 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 음성과 스타일 특징 값 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제4 인공 신경망(미도시)은 음성의 입력에 따라, 해당 음성에 대응되는 스타일 특징 값을 출력할 수 있다.
본 발명의 제2 실시예에 따른 음성 변환 장치(110B)는 상술한 과정에 따라 생성된 제1 텍스트 특징 값(Text_Feature_1)과 제3 인공 신경망(NN3)을 이용하여 제1 오디오 벡터(Audio_Vec_1)에서 제1 음성의 보이스 특징 값(Voice_Feature)이 제거된 제2 오디오 벡터(Audio_Vec_2)를 생성할 수 있다.
본 발명에서 제3 인공 신경망(NN3)은 음성 벡터와 텍스트 특징 값의 입력에 따라 보이스 특징 값이 제거된 음성 벡터를 출력하도록 학습된 신경망을 의미할 수 있다.
본 발명의 제2 실시예에서, 스타일 특징 값(Style_Feature)은 상수(즉 화자의 변경에 따라 변경되지 않는 값)일 수 있다. 따라서 음성 변환 장치(110B)는 제1 텍스트 특징 값(Text_Feature_1) 만을 고려하여, 제1 오디오 벡터(Audio_Vec_1)에서 제1 음성의 보이스 특징 값(Voice_Feature)이 제거된 제2 오디오 벡터(Audio_Vec_2)를 생성할 수 있다.
한편 본 발명에서 제2 오디오 벡터(Audio_Vec_2)는 전술한 바와 같이 보이스 특징 값(Voice_Feature)이 제거된 벡터이기에, 임의의 화자의 보이스 특징 값의 부가에 따라 해당 화자의 음성으로 변경될 수 있는 잠재력을 갖는 벡터일 수 있다.
제4 인공 신경망을 더 포함하는 본 발명의 선택적 실시예에서, 음성 변환 장치(110B)는 제1 텍스트 특징 값(Text_Feature_1) 외에, 제1 음성(Voice_1)으로부터 파악된 스타일 특징 값을 더 고려하여 제2 오디오 벡터(Audio_Vec_2)를 생성할 수도 있다.
본 발명의 제2 실시예에 따른 음성 변환 장치(110B)는 보이스 특징 값 생성기(Feature Generator)를 이용하여 타겟 음성의 보이스 특징 값(Target_Voice_Feature)을 확인할 수 있다.
이때 보이스 특징 값 생성기(Feature Generator)는 다양한 방식으로 구현될 수 있다. 가령 보이스 특징 값 생성기(Feature Generator)는 타겟 화자의 식별 번호(또는 식별 정보) 입력에 따라, 해당 화자의 보이스 특징 값을 출력하도록 구성될 수 있다. 이를 위해서 보이스 특징 값 생성기(Feature Generator)는 미리 구축된 데이터베이스를 포함하도록 구성될 수 있으며, 데이터베이스에는 복수의 타겟 음성의 특징이 식별 정보와 매칭되어 저장되어 있을 수 있다.
또한 보이스 특징 값 생성기(Feature Generator)는 음성의 입력에 따라 해당 음성의 보이스 특징 값을 출력하는 인공 신경망으로 구성될 수도 있다. 이러한 경우 음성 변환 장치(110B)는 음성을 보이스 특징 값 생성기(Feature Generator)에 입력하고, 그 응답으로써 해당 음성의 보이스 특징 값을 획득(또는 확인)할 수 있다.
다만 전술한 보이스 특징 값 생성기(Feature Generator)의 구현 방식은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 제2 실시예에 따른 음성 변환 장치(110B)는 제2 오디오 벡터(Audio_Vec_2)와 타겟 음성의 보이스 특징 값(Target_Voice_Feature)을 이용하여 타겟 음성의 특징이 반영된 제2 음성(Voice_2)을 생성할 수 있다. 이때 타겟 음성은 가령 제2 화자의 음성일 수 있다.
이로써 본 발명은 품질이 대폭 향상된 음성 변환을 수행할 수 있으며, 특히 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출함에 있어서 나머지 성분들을 참조하여 추출함으로써 보다 정교한 음성 변환을 수행할 수 있다. 또한 별도의 텍스트 입력 없이도, 해당 음성의 보이스 특징에 기여하는 성분만을 교체할 수 있다.
도 9 및 도 10은 본 발명의 제1 실시예에 따른 음성 변환 장치(110A)를 학습하는 과정을 설명하기 위한 도면이다. 이하에서는 도 9 및 도 10을 함께 참조하여 설명한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제1 인공 신경망(NN1), 제2 인공 신경망(NN2) 및 제3 인공 신경망(NN3)을 이용하여 제3 음성(Voice_3)으로부터 제2 화자의 보이스 특징(Speaker_2_Voice_Feature)이 반영된 제5 음성(Voice_5)을 생성할 수 있다. 이때 제3 음성은 제1 화자의 제3 텍스트(Text_3) 발화에 따른 음성일 수 있다.
한편 제3 음성(Voice_3)으로부터 제2 화자의 보이스 특징이 반영된 제5 음성(Voice_5)을 생성하는 과정은 도 5 내지 도 6에서 설명하였으므로, 이에 대한 상세한 설명은 생략한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제5 음성(Voice_5)과 제4 음성(Voice_4)의 차이에 기초하여 제1 인공 신경망(NN1), 제2 인공 신경망(NN2) 및 제3 인공 신경망(NN3)을 학습시킬 수 있다. 이때 제4 음성(Voice_4)은 제2 화자의 제3 텍스트(Text_3) 발화에 따른 음성일 수 있다.
가령 본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 디스크리미네이터(Discriminator)(120)에 제4 음성(Voice_4)과 제5 음성(Voice_5)을 입력하여 오차(Error_1)를 획득할 수 있다. 또한 음성 변환 장치(110A)는 획득된 오차(Error_1)를 역방향으로 전파 하여 하나 이상의 구성요소들에 대한 오차(Error_2, Error_3, Error_4)를 산출할 수 있다. 또한 음성 변환 장치(110A)는 산출된 오차들(Error_1, Error_2, Error_3, Error_4)을 감소시키는 방향으로 구성요소들의 파라미터를 조절하여 제1 인공 신경망(NN1), 제2 인공 신경망(NN2) 및 제3 인공 신경망(NN3)을 학습시킬 수 있다.
이와 같이 본원발명은 동일한 화자의 발화에 따른 음성(제4 음성(Voice_4))과 변환에 따라 생성된 음성(제5 음성(Voice_5))간의 차이를 이용하여 인공 신경망들(NN1, NN2, NN3)을 학습시켜 음성 변환의 정확도를 향상시킬 수 있다.
도 11은 본 발명의 제1 실시예에 따른 음성 변환 장치(110A)에 의해 수행되는 음성의 보이스 특징 변환 방볍을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 6 및 도 9 내지 도 10을 함께 참조하여 설명한다.
본 발명의 일 실시예에 따른 음성 변환 장치(110A)는 화자의 음성과 해당 화자를 목표로 변환된 음성 간의 차이를 이용하여 제1 인공 신경망(NN1), 제2 인공 신경망(NN2) 및 제3 인공 신경망(NN3)을 학습시킬 수 있다.(S1010)
도 9 및 도 10은 본 발명의 제1 실시예에 따른 음성 변환 장치(110A)를 학습하는 과정을 설명하기 위한 도면이다. 이하에서는 도 9 및 도 10을 함께 참조하여 설명한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제1 인공 신경망(NN1), 제2 인공 신경망(NN2) 및 제3 인공 신경망(NN3)을 이용하여 제3 음성(Voice_3)으로부터 제2 화자의 보이스 특징(Speaker_2_Voice_Feature)이 반영된 제5 음성(Voice_5)을 생성할 수 있다. 이때 제3 음성은 제1 화자의 제3 텍스트(Text_3) 발화에 따른 음성일 수 있다.
한편 제3 음성(Voice_3)으로부터 제2 화자의 보이스 특징이 반영된 제5 음성(Voice_5)을 생성하는 과정은 도 5 내지 도 6에서 설명하였으므로, 이에 대한 상세한 설명은 생략한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제5 음성(Voice_5)과 제4 음성(Voice_4)의 차이에 기초하여 제1 인공 신경망(NN1), 제2 인공 신경망(NN2) 및 제3 인공 신경망(NN3)을 학습시킬 수 있다. 이때 제4 음성(Voice_4)은 제2 화자의 제3 텍스트(Text_3) 발화에 따른 음성일 수 있다.
가령 본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 디스크리미네이터(Discriminator)(120)에 제4 음성(Voice_4)과 제5 음성(Voice_5)을 입력하여 오차(Error_1)를 획득할 수 있다. 또한 음성 변환 장치(110A)는 획득된 오차(Error_1)를 역방향으로 전파 하여 하나 이상의 구성요소들에 대한 오차(Error_2, Error_3, Error_4)를 산출할 수 있다. 또한 음성 변환 장치(110A)는 산출된 오차들(Error_1, Error_2, Error_3, Error_4)을 감소시키는 방향으로 구성요소들의 파라미터를 조절하여 제1 인공 신경망(NN1), 제2 인공 신경망(NN2) 및 제3 인공 신경망(NN3)을 학습시킬 수 있다.
이와 같이 본원발명은 동일한 화자의 발화에 따른 음성(제4 음성(Voice_4))과 변환에 따라 생성된 음성(제5 음성(Voice_5))간의 차이를 이용하여 인공 신경망들(NN1, NN2, NN3)을 학습시켜 음성 변환의 정확도를 향상시킬 수 있다.
이하에서는 도 5 및 도 6을 함께 참조하여 설명한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제1 인공 신경망(NN1)을 이용하여 제1 음성(Voice_1)에 대응되는 제1 오디오 벡터(Audio_Vec_1)를 생성할 수 있다.(S1020) 이때 제1 오디오 벡터(Audio_Vec_1)는 제1 음성(Voice_1)의 텍스트 특징 값(Text_Feature), 제1 음성(Voice_1)의 보이스 특징 값(Voice_Feature) 및 제1 음성(Voice_1)의 스타일 특징 값(Style_Feature)을 구별 불가능한 형태로 포함할 수 있다.
본 발명에서 텍스트 특징 값(Text_Feature)은 음성에 대응되는 문자열의 내용상의 특징을 나타내거나 내용상의 특징이 반영된 값을 의미할 수 있다. 이와 같은 텍스트 특징 값(Text_Feature)은 가령 텍스트를 문자 단위로 나누고, 각각의 문자를 벡터값으로 변환하는 과정에 따라 생성된 것일 수 있다. 다만 이는 예시적인것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 스타일 특징 값(Style_Feature)은 화자의 감정, 화자가 처한 상황 및 화자가 사용하는 말버릇 중 적어도 하나에 대응되는 값을 의미할 수 있다. 이와 같은 스타일 특징 값은 가령 화자가 말하는 속도, 특정 받침을 붙여 발음하는 습관 등을 반영한 값 일 수 있다.
본 발명에서 보이스 특징 값(Voice_Feature)은 화자의 감정이나 화자가 처한 상황과 무관한, 화자의 근본적인 목소리 특성에 대응되는 값을 의미할 수 있다.
본 발명에서 제1 인공 신경망(NN1)은 음성과 해당 음성에 대응되는 벡터를 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 음성과 벡터 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제1 인공 신경망(NN1)은 벡터화 하고자 하는 음성의 입력에 따라, 해당 음성에 대응되는 오디오 벡터를 출력할 수 있다.
한편 본 발명에서 제1 인공 신경망(NN1)이 제1 음성(Voice_1)의 입력에 따라 출력(또는 생성)하는 제1 오디오 벡터(Audio_Vec_1)는 전술한 바와 같이 제1 음성(Voice_1)의 텍스트 특징 값(Text_Feature), 제1 음성(Voice_1)의 보이스 특징 값(Voice_Feature) 및 제1 음성(Voice_1)의 스타일 특징 값(Style_Feature)을 구별 불가능한 형태로 포함할 수 있다. 여기서 '구별이 불가능한 형태'라는 것은 일반적인 기술을 이용하여 또는 직관적으로 개별 특징 값 들을 구분하는 것이 불가능한 형태인 것을 의미할 수 있다.
종래기술에 따르면, 벡터에 상술한 세 가지의 특징값들이 서로 구별할 수 없는 형태로 포함되어 있기에 개별 특징값들을 제대로 활용할 수 없었다. 예를 들어 오디오 벡터에서 본원과 같이 보이스 특징 값 만을 추출하여 변경함으로써 음성을 변환하거나, 스타일 특징 값 만을 추출하여 변경함으로써 스타일을 변환하는 등의 작업이 불가능하였다.
본원발명은 학습된 인공 신경망을 이용하여 음성으로부터 생성된 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출하여 교체함으로써 품질이 대폭 향상된 음성 변환을 수행할 수 있다.
특히 본원발명은 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출함에 있어서, 나머지 성분들을 참조하여 추출함으로써 보다 정교한 음성 변환을 수행할 수 있다. 이에 대한 상세한 설명은 후술한다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제2 인공 신경망(NN2)을 이용하여 제1 텍스트(Text_1)에 대응되는 제1 텍스트 특징 값(Text_Feature_1)을 생성할 수 있다.(S1030) 이때 제1 텍스트(Text_1)는 제1 음성(Voice_1)에 대응되는 텍스트 일 수 있다. 바꾸어 말하면 제1 음성(Voice_1)은 제1 화자의 제1 텍스트(Text_1) 발화에 따른 음성일 수 있다.
본 발명에서 제2 인공 신경망(NN2)은 텍스트와 해당 텍스트의 내용에 대응되는 벡터를 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 텍스트와 벡터 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제2 인공 신경망(NN2)은 텍스트의 입력에 따라, 해당 텍스트의 내용에 대응되는 텍스트 특징 값을 출력할 수 있다.
본 발명의 선택적 실시예에서, 음성 변환 장치(110A)는 제4 인공 신경망(미도시)을 이용하여 제1 음성(Voice_1)에 대응되는 스타일 특징 값(Style_Feature)을 생성할 수도 있다.
본 발명에서 제4 인공 신경망(미도시)은 음성과 해당 음성에 대응되는 스타일 특징 값을 포함하는 학습 데이터에 기반하여, 학습 데이터에 포함되는 음성과 스타일 특징 값 간의 상관관계를 학습한 신경망을 의미할 수 있다.
따라서 제4 인공 신경망(미도시)은 음성의 입력에 따라, 해당 음성에 대응되는 스타일 특징 값을 출력할 수 있다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 상술한 과정에 따라 생성된 제1 텍스트 특징 값(Text_Feature_1)과 제3 인공 신경망(NN3)을 이용하여 제1 오디오 벡터(Audio_Vec_1)에서 제1 음성의 보이스 특징 값(Voice_Feature)이 제거된 제2 오디오 벡터(Audio_Vec_2)를 생성할 수 있다.(S1040)
본 발명에서 제3 인공 신경망(NN3)은 음성 벡터와 텍스트 특징 값의 입력에 따라 보이스 특징 값이 제거된 음성 벡터를 출력하도록 학습된 신경망을 의미할 수 있다.
본 발명의 제1 실시예에서, 스타일 특징 값(Style_Feature)은 상수(즉 화자의 변경에 따라 변경되지 않는 값)일 수 있다. 따라서 음성 변환 장치(110A)는 제1 텍스트 특징 값(Text_Feature_1) 만을 고려하여, 제1 오디오 벡터(Audio_Vec_1)에서 제1 음성의 보이스 특징 값(Voice_Feature)이 제거된 제2 오디오 벡터(Audio_Vec_2)를 생성할 수 있다.
한편 본 발명에서 제2 오디오 벡터(Audio_Vec_2)는 전술한 바와 같이 보이스 특징 값(Voice_Feature)이 제거된 벡터이기에, 임의의 화자의 보이스 특징 값의 부가에 따라 해당 화자의 음성으로 변경될 수 있는 잠재력을 갖는 벡터일 수 있다.
제4 인공 신경망을 더 포함하는 본 발명의 선택적 실시예에서, 음성 변환 장치(110A)는 제1 텍스트 특징 값(Text_Feature_1) 외에, 제1 음성(Voice_1)으로부터 파악된 스타일 특징 값을 더 고려하여 제2 오디오 벡터(Audio_Vec_2)를 생성할 수도 있다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 보이스 특징 값 생성기(Feature Generator)를 이용하여 타겟 음성의 보이스 특징 값(Target_Voice_Feature)을 확인할 수 있다. (S1050)
이때 보이스 특징 값 생성기(Feature Generator)는 다양한 방식으로 구현될 수 있다. 가령 보이스 특징 값 생성기(Feature Generator)는 타겟 화자의 식별 번호(또는 식별 정보) 입력에 따라, 해당 화자의 보이스 특징 값을 출력하도록 구성될 수 있다. 이를 위해서 보이스 특징 값 생성기(Feature Generator)는 미리 구축된 데이터베이스를 포함하도록 구성될 수 있으며, 데이터베이스에는 복수의 타겟 음성의 특징이 식별 정보와 매칭되어 저장되어 있을 수 있다.
또한 보이스 특징 값 생성기(Feature Generator)는 음성의 입력에 따라 해당 음성의 보이스 특징 값을 출력하는 인공 신경망으로 구성될 수도 있다. 이러한 경우 음성 변환 장치(110A)는 음성을 보이스 특징 값 생성기(Feature Generator)에 입력하고, 그 응답으로써 해당 음성의 보이스 특징 값을 획득(또는 확인)할 수 있다.
다만 전술한 보이스 특징 값 생성기(Feature Generator)의 구현 방식은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 제1 실시예에 따른 음성 변환 장치(110A)는 제2 오디오 벡터(Audio_Vec_2)와 타겟 음성의 보이스 특징 값(Target_Voice_Feature)을 이용하여 타겟 음성의 특징이 반영된 제2 음성(Voice_2)을 생성할 수 있다.(S1060) 이때 타겟 음성은 가령 제2 화자의 음성일 수 있다.
이로써 본 발명은 품질이 대폭 향상된 음성 변환을 수행할 수 있으며, 특히 오디오 벡터에서, 해당 음성의 보이스 특징에 기여하는 성분만을 추출함에 있어서 나머지 성분들을 참조하여 추출함으로써 보다 정교한 음성 변환을 수행할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (5)

  1. 음성의 보이스 특징을 변환하는 방법에 있어서,
    제1 인공 신경망을 이용하여 제1 음성에 대응되는 제1 오디오 벡터를 생성하는 단계로써, 상기 제1 오디오 벡터는 상기 제1 음성의 텍스트 특징 값, 상기 제1 음성의 보이스 특징 값 및 상기 제1 음성의 스타일 특징 값을 구별 불가능한 형태로 포함하고, 상기 제1 음성은 제1 화자의 제1 텍스트 발화에 따른 음성이고;
    제2 인공 신경망을 이용하여 상기 제1 텍스트에 대응되는 제1 텍스트 특징 값을 생성하는 단계;
    상기 제1 텍스트 특징 값 및 제3 인공 신경망을 이용하여 상기 제1 오디오 벡터에서 상기 제1 음성의 보이스 특징 값이 제거된 제2 오디오 벡터를 생성하는 단계; 및
    상기 제2 오디오 벡터와 타겟 음성의 보이스 특징 값을 이용하여 상기 타겟 음성의 특징이 반영된 제2 음성을 생성하는 단계;를 포함하는, 음성의 보이스 특징 변환 방법.
  2. 청구항 1에 있어서
    상기 제1 텍스트 특징 값을 생성하는 단계는
    상기 제1 음성으로부터 제2 텍스트를 생성하는 단계; 및
    상기 제2 텍스트에 기초하여 상기 제1 텍스트를 생성하는 단계;를 포함하는, 음성의 보이스 특징 변환 방법.
  3. 청구항 1에 있어서
    상기 음성의 화자 특징 변환 방법은
    상기 제1 오디오 벡터를 생성하는 단계 이전에,
    상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 학습시키는 단계;를 더 포함하는, 음성의 보이스 특징 변환 방법.
  4. 청구항 3에 있어서
    상기 학습시키는 단계는
    상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 이용하여 제3 음성으로부터 제2 화자의 보이스 특징이 반영된 제5 음성을 생성하는 단계로써, 상기 제3 음성은 제1 화자의 제3 텍스트 발화에 따른 음성이고; 및
    상기 제5 음성과 제4 음성의 차이에 기초하여 상기 제1 인공 신경망, 상기 제2 인공 신경망 및 상기 제3 인공 신경망을 학습시키는 단계로써, 상기 제4 음성은 상기 제2 화자의 상기 제3 텍스트 발화에 따른 음성이고;를 포함하는, 음성의 보이스 특징 변환 방법.
  5. 청구항 1에 있어서
    상기 음성의 화자 특징 변환 방법은
    상기 제2 음성을 생성하는 단계 이전에
    상기 타겟 음성의 보이스 특징 값을 확인하는 단계;를 더 포함하는, 음성의 보이스 특징 변환 방법.
PCT/KR2021/010116 2020-11-18 2021-08-03 음성의 보이스 특징 변환 방법 WO2022108040A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21783381.3A EP4030421A4 (en) 2020-11-18 2021-08-03 METHOD FOR CONVERTING A VOCAL CHARACTERISTIC OF THE VOICE
US17/500,600 US20220157329A1 (en) 2020-11-18 2021-10-13 Method of converting voice feature of voice

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0154581 2020-11-18
KR1020200154581A KR20220067864A (ko) 2020-11-18 2020-11-18 음성의 보이스 특징 변환 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/500,600 Continuation US20220157329A1 (en) 2020-11-18 2021-10-13 Method of converting voice feature of voice

Publications (1)

Publication Number Publication Date
WO2022108040A1 true WO2022108040A1 (ko) 2022-05-27

Family

ID=81709337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010116 WO2022108040A1 (ko) 2020-11-18 2021-08-03 음성의 보이스 특징 변환 방법

Country Status (2)

Country Link
KR (1) KR20220067864A (ko)
WO (1) WO2022108040A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240059350A (ko) * 2022-10-27 2024-05-07 삼성전자주식회사 음성 신호 비식별화 처리 방법 및 그 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058696A (ja) * 2006-08-31 2008-03-13 Nara Institute Of Science & Technology 声質変換モデル生成装置及び声質変換システム
KR101666930B1 (ko) * 2015-04-29 2016-10-24 서울대학교산학협력단 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법 및 이를 구현하는 음성 변환 장치
US20180342256A1 (en) * 2017-05-24 2018-11-29 Modulate, LLC System and Method for Voice-to-Voice Conversion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058696A (ja) * 2006-08-31 2008-03-13 Nara Institute Of Science & Technology 声質変換モデル生成装置及び声質変換システム
KR101666930B1 (ko) * 2015-04-29 2016-10-24 서울대학교산학협력단 심화 학습 모델을 이용한 목표 화자의 적응형 목소리 변환 방법 및 이를 구현하는 음성 변환 장치
US20180342256A1 (en) * 2017-05-24 2018-11-29 Modulate, LLC System and Method for Voice-to-Voice Conversion

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AYODEJI AGBOLADE OLAIDE; OYETUNJI S.A: "Voice conversion using coefficient mapping and neural network", 2016 INTERNATIONAL CONFERENCE FOR STUDENTS ON APPLIED ENGINEERING (ISCAE), SCHOOL OF MECHANICAL AND SYSTEMS ENGINEERING, 20 October 2016 (2016-10-20), pages 479 - 483, XP033038984, DOI: 10.1109/ICSAE.2016.7810239 *
DESAI, SRINIVAS ET AL.: "Voice conversion using Artificial Neural Networks", 2009 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, 19 April 2009 (2009-04-19), pages 3893 - 3896, XP031460124, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/document/4960478> *
KOTANI, GAKU ET AL.: "Voice conversion based on deep neural networks for time-variant linear transformations", 2017 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC, 12 December 2017 (2017-12-12), pages 1259 - 1262, XP033315600, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/abstract/document/8282216> DOI: 10.1109/APSIPA.2017.8282216 *

Also Published As

Publication number Publication date
KR20220067864A (ko) 2022-05-25

Similar Documents

Publication Publication Date Title
WO2020231181A1 (en) Method and device for providing voice recognition service
WO2020190054A1 (ko) 음성 합성 장치 및 그 방법
WO2020263034A1 (en) Device for recognizing speech input from user and operating method thereof
WO2019139431A1 (ko) 다중 언어 텍스트-음성 합성 모델을 이용한 음성 번역 방법 및 시스템
WO2020145439A1 (ko) 감정 정보 기반의 음성 합성 방법 및 장치
WO2020027619A1 (ko) 순차적 운율 특징을 기초로 기계학습을 이용한 텍스트-음성 합성 방법, 장치 및 컴퓨터 판독가능한 저장매체
EP3818518A1 (en) Electronic apparatus and method for controlling thereof
WO2020050509A1 (en) Voice synthesis device
WO2022260432A1 (ko) 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템
WO2019078615A1 (en) METHOD AND ELECTRONIC DEVICE FOR TRANSLATING A VOICE SIGNAL
WO2020027394A1 (ko) 음소 단위 발음 정확성 평가 장치 및 평가 방법
WO2020145472A1 (ko) 화자 적응형 모델을 구현하고 합성 음성 신호를 생성하는 뉴럴 보코더 및 뉴럴 보코더의 훈련 방법
WO2019083055A1 (ko) 기계학습을 이용한 오디오 복원 방법 및 장치
WO2022255529A1 (ko) 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치
WO2021029642A1 (en) System and method for recognizing user&#39;s speech
WO2018097439A1 (ko) 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
WO2022108040A1 (ko) 음성의 보이스 특징 변환 방법
WO2020153717A1 (en) Electronic device and controlling method of electronic device
WO2021040490A1 (en) Speech synthesis method and apparatus
WO2023085584A1 (en) Speech synthesis device and speech synthesis method
WO2022114451A1 (ko) 인공 신경망 학습 방법과 이를 이용한 발음 평가 방법
WO2024053844A1 (ko) 오디오 신호에 포함된 음성 신호에 이용하여 타겟 화자를 업데이트하는 전자 장치 및 그의 타겟 화자 업데이트 방법
WO2023128586A1 (ko) 인공지능에 기초한 대화상황예측과 의도분류 시스템 및 그 방법
WO2022164207A1 (ko) 새로운 화자의 합성 음성을 생성하는 방법 및 시스템
WO2022270752A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021783381

Country of ref document: EP

Effective date: 20211110

NENP Non-entry into the national phase

Ref country code: DE