WO2020256472A1 - 음성 신호를 이용한 발화 동영상 생성 방법 및 장치 - Google Patents

음성 신호를 이용한 발화 동영상 생성 방법 및 장치 Download PDF

Info

Publication number
WO2020256472A1
WO2020256472A1 PCT/KR2020/007975 KR2020007975W WO2020256472A1 WO 2020256472 A1 WO2020256472 A1 WO 2020256472A1 KR 2020007975 W KR2020007975 W KR 2020007975W WO 2020256472 A1 WO2020256472 A1 WO 2020256472A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature vector
video
person
speech
encoder
Prior art date
Application number
PCT/KR2020/007975
Other languages
English (en)
French (fr)
Inventor
채경수
황금별
박성우
장세영
Original Assignee
주식회사 머니브레인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200070748A external-priority patent/KR102346755B1/ko
Application filed by 주식회사 머니브레인 filed Critical 주식회사 머니브레인
Priority to US17/620,867 priority Critical patent/US20220399025A1/en
Publication of WO2020256472A1 publication Critical patent/WO2020256472A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Definitions

  • An embodiment of the present invention relates to a technology for generating speech video based on machine learning.
  • a landmark or key point related to a voice is first generated from an existing speech image and learning is performed, and then an image suitable for the input voice is synthesized using the learned model.
  • a process of extracting a key point and converting it to a standard space (a position facing the front from the center of the screen) and inversely transforming it for learning is required.
  • the procedure is complicated because it is necessary.
  • the result is unnatural because it does not reflect the natural movement of the person by using the method of synthesizing the image suitable for the input voice after cutting only the face part and aligning the size and position. There is a problem.
  • Disclosed embodiment is to provide a method and apparatus for generating a speech video that can reflect a motion or gesture occurring during speech.
  • Disclosed embodiment is to provide a method and apparatus for generating a speech video that can increase the efficiency of learning by making the phase of a combination vector input to a decoder constant.
  • An apparatus for generating a speech video is a computing device including one or more processors and a memory for storing one or more programs executed by the one or more processors, wherein a video portion of a speech video of a predetermined person
  • a first encoder that receives a background image of a person and extracts an image feature vector from the background image of the person
  • a second encoder for receiving a speech audio signal, which is an audio part of the speech video, and extracting a speech feature vector from the speech audio signal
  • a combination unit for generating a combination vector by combining an image feature vector output from the first encoder and an audio feature vector output from the second encoder;
  • a decoder for restoring the speech video of the person by receiving the combination vector as an input.
  • the image feature vector is a three-dimensional tensor in the form of a height ⁇ width ⁇ a channel
  • the voice feature vector is a one-dimensional vector in a channel form
  • the combination unit is A feature vector is copied as much as the height of the image feature vector in a height direction and a width of the image feature vector is copied in the width direction to form a tensor having the same shape as the image feature vector, and an audio feature having the same shape as the image feature vector
  • the vector and the image feature vector may be concatenated to generate a combination vector.
  • a portion related to the person's speech is covered with a mask, and the face and the upper body of the person are included.
  • the video feature vector is a three-dimensional tensor in the form of a height ⁇ width ⁇ a channel
  • the voice feature vector is a one-dimensional vector in a channel form
  • the second encoder It is provided to output an audio feature vector having a size equal to the height (Heigh) ⁇ width (Width) of the image feature vector
  • the combining unit converts the audio feature vector into a height (Heigh) ⁇ width (Width) of the image feature vector.
  • a portion related to the person's speech is covered with a mask, and the face and the upper body of the person are included.
  • the video feature vector is a three-dimensional tensor in the form of a height ⁇ width ⁇ a channel
  • the voice feature vector is a one-dimensional vector in a channel form
  • the second encoder It is provided to output an audio feature vector having the same size as a channel of the image feature vector
  • the combining unit rearranges the voice feature vector into a 3D tensor having a shape corresponding to a channel of the image feature vector
  • a combination vector may be generated by multiplying the rearranged voice feature vectors by each height and width of the image feature vector.
  • a portion related to the person's speech is covered with a mask, and the face and the upper body of the person are included.
  • a method of generating a speech video is a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, comprising: Receiving a background image of a person, which is a video portion of the moving picture, and extracting an image feature vector from the background image of the person; Receiving a speech audio signal, which is an audio part of the speech video, and extracting a speech feature vector from the speech audio signal; Generating a combination vector by combining an image feature vector output from the first encoder and an audio feature vector output from the second encoder; And restoring the speech video of the person by inputting the combination vector.
  • an utterance video can be created by reflecting the person's unique gesture or characteristic, and thus, a more natural utterance video can be created.
  • the phase of the feature vectors input to the decoder is made constant, thereby increasing the learning efficiency and inducing the learning of the spatial association between the video and audio parts. There will be.
  • FIG. 1 is a block diagram showing the configuration of a speech video generating apparatus according to an embodiment of the present invention
  • FIG. 2 is a diagram showing a state in which a speech video is inferred through a speech video generation apparatus according to an embodiment of the present invention
  • FIG. 3 is a diagram illustrating a process of generating a combination vector in a speech video generation apparatus according to an embodiment of the present invention
  • FIG. 4 is a diagram showing an embodiment of generating a combination vector by multiplying an image feature vector and an audio feature vector in the combination unit of the present invention
  • FIG. 5 is a view showing another embodiment of generating a combination vector by multiplying an image feature vector and an audio feature vector in the combination unit of the present invention
  • FIG. 6 is a diagram showing a configuration of a speech video generating apparatus according to another embodiment of the present invention.
  • FIG. 7 is a diagram showing a configuration of a speech video generating apparatus according to another embodiment of the present invention.
  • FIG. 8 is a diagram showing a structure of a neural network for generating utterance videos for a plurality of people in an embodiment of the present invention
  • FIG. 9 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
  • transmission In the following description, "transmission”, “communication”, “transmission”, “reception” of signals or information, and other terms having a similar meaning are not only directly transmitted signals or information from one component to another component. It includes what is passed through other components.
  • “transmitting” or “transmitting” a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for “reception” of signals or information.
  • transmission when two or more pieces of data or information are "related”, it means that when one data (or information) is obtained, at least a part of other data (or information) can be obtained based thereon.
  • first and second may be used to describe various components, but the components should not be limited by the terms. These terms may be used for the purpose of distinguishing one component from another component.
  • a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
  • the apparatus 100 for generating a speech video may include a first encoder 102, a second encoder 104, a combination unit 106, and a decoder 108.
  • the configuration of the speech video generating apparatus 100 shown in FIG. 1 shows functional elements that are functionally divided, and may be functionally connected to each other to perform a function according to the present invention, and any one or more configurations may be physically May be implemented by being integrated with each other.
  • the speech video generating apparatus 100 may be implemented with a machine learning technology based on a convolutional neural network (CNN), but the machine learning technology is not limited thereto, and various machine learning Technology can be applied.
  • CNN convolutional neural network
  • a learning process for generating a speech video will be mainly described.
  • the first encoder 102 may be a machine learning model that is trained to extract an image feature vector by inputting a background image of a person.
  • vector may be used as a meaning including "tensor”.
  • the person background image input to the first encoder 102 is an image that the person utters (talks).
  • the person background image may be an image including the person's face and upper body. That is, the background image of the person may be an image including not only the face but also the upper body so that movements of the face, neck, and shoulders appearing when the corresponding person utters are shown.
  • a part related to speech may be masked. That is, in the background image of a person, a part related to utterance (eg, a mouth and a part around the mouth) may be covered with the mask M. In addition, during the masking process, portions related to face movement, neck movement, and shoulder movement according to the person's speech in the background image of the person may not be masked. Then, the first encoder 102 extracts an image feature vector of a part of the background image of a person excluding a part related to speech.
  • the first encoder 102 may include one or more convolutional layers and one or more pooling layers.
  • the convolutional layer may extract feature values of pixels corresponding to the corresponding filter while moving a filter of a preset size (eg, a size of 3 ⁇ 3 pixels) from an input background image of a person at predetermined intervals.
  • the pulling layer may perform down sampling by receiving the output of the convolutional layer as an input.
  • the second encoder 104 is a machine learning model that is trained to extract a speech feature vector by inputting a speech audio signal.
  • the speech audio signal corresponds to an audio portion of a background image of a person (ie, an image uttered by a person) input to the first encoder 102.
  • a video portion may be input to the first encoder 102 and an audio portion may be input to the second encoder 104.
  • the second encoder 104 may include one or more convolutional layers and one or more pooling layers, but the neural network structure of the second encoder 104 is not limited thereto.
  • Times of a background image of a person input to the first encoder 102 and a speech audio signal input to the second encoder 104 may be synchronized with each other. That is, in a video uttered by a person, video may be input to the first encoder 102 and audio may be input to the second encoder 104 during the same time period. In this case, the background image of the person and the speech audio signal may be input to the first encoder 102 and the second encoder 104 every preset unit time (eg, one frame or a plurality of consecutive frames).
  • the combination unit 106 may generate a combination vector by combining an image feature vector output from the first encoder 102 and an audio feature vector output from the second encoder 104.
  • the combining unit 106 may generate a combination vector by concatenating an image feature vector and an audio feature vector, but is not limited thereto.
  • the decoder 108 may restore a speech video of a person by receiving a combination vector output from the combination unit 106 as an input.
  • the decoder 108 is an image feature vector output from the first encoder 102 based on the voice feature vector output from the second encoder 104 (that is, the feature of the audio portion in the video uttered by a person). That is, it may be a machine learning model that is trained to restore a part (that is, a part related to utterance) of the mask (M) of the video part in the video where the person utters the utterance and the feature of the part covered by the mask . That is, the decoder 108 may be a model that is trained to restore a masked region using an audio signal when a part related to speech in a background image of a person is masked.
  • the decoder 108 performs inverse convolution on a combination vector in which an image feature vector output from the first encoder 102 and an audio feature vector output from the second encoder 104 are combined. After that, up-sampling may be performed to generate a speech video.
  • the decoder 108 compares the generated speech video with the original speech video (i.e., correct answer value), so that the generated speech video (i.e., a video obtained by restoring a speech-related part through an audio portion) is close to the original speech video.
  • You can adjust the learning parameters eg, loss function, softmax function, etc.
  • FIG. 2 is a diagram illustrating a state in which a speech video is inferred through a speech video generation apparatus according to an embodiment of the present invention.
  • the first encoder 102 receives a background image of a person.
  • the person background image may be a person background image used in the learning process.
  • the person background image may be an image including a person's face and upper half.
  • a part related to utterance may be covered with a mask M.
  • the first encoder 102 may extract an image feature vector from a background image of a person.
  • the second encoder 104 receives a speech audio signal.
  • the speech audio signal may be irrelevant to a background image of a person inputted through the first encoder 102.
  • the speech audio signal may be a speech audio signal of a person different from the person in the person background image.
  • the present invention is not limited thereto, and the uttered audio signal may be uttered by a person in the background image of the person. In this case, the utterance of the person may be uttered in a background or situation not related to the background image of the person.
  • the second encoder 104 may extract a speech feature vector from the spoken audio signal.
  • the combination unit 106 may generate a combination vector by combining an image feature vector output from the first encoder 102 and an audio feature vector output from the second encoder 104.
  • the decoder 108 may reconstruct and output the speech video by using the combination vector as an input. That is, the decoder 108 may generate a speech video by reconstructing a part related to speech of a background image of a person based on the speech feature vector output from the second encoder 104.
  • the speech audio signal input to the second encoder 104 is speech that is not related to the background image of a person (for example, although a person in the background image of a person is not uttered), As if, a video of speech is created.
  • an utterance video can be created by reflecting the person's unique gesture or characteristic, and thus, a more natural utterance video can be created.
  • the video portion of the speech video is input to the first encoder 102, the audio portion is input to the second encoder 104, and the masked speech-related portion is restored from the audio, without a separate keypoint prediction process.
  • the speech video can be generated through a single neural network model.
  • FIG. 3 is a diagram illustrating a process of generating a combination vector in a speech video generating apparatus according to an embodiment of the present invention.
  • the image feature vector A output from the first encoder 102 represents a data structure in the form of a height ⁇ width ⁇ a channel (ie, a three-dimensional tensor). Will have.
  • the first encoder 102 down-samples the background image of a person to the axis in the height (Heigh) and width (Width) directions, and compresses the image feature vector (A) (H, W, C I ) is displayed.
  • the voice feature vector B output from the second encoder 104 has a channel-type data structure (ie, a one-dimensional vector).
  • the second encoder 104 downsamples the speech audio signal along the time axis and outputs a compressed speech feature vector B (C A ).
  • the combination unit 106 copies the audio feature vector B by the height of the image feature vector A in the height direction, and copies the image feature vector A by the width in the width direction. It can be made into a vector of the same shape as the image feature vector (A) ((C A ) ⁇ )(H, W, C A )). That is, the combination unit 106 may make the voice feature vector B into a tensor having the same height as the image feature vector A in the form of Heigh ⁇ Width ⁇ Channel.
  • the combination unit 106 concatenates the speech feature vector B (H, W, C A ) and the image feature vector A (H, W, C I ) to concatenate the combination vector (H, W, C I ). , C I +C A ) can be created.
  • the combination unit 106 generates a combination vector by concatenating the image feature vector (A) and the voice feature vector (B), but is not limited thereto, and the image feature vector (A) and the audio feature It is also possible to create a combination vector by multiplying the vector (B). In this case, the phase of the feature vectors input to the decoder 108 is made constant, so that learning efficiency can be improved and the spatial association between the video portion and the audio portion can be induced.
  • FIG. 4 is a diagram showing an embodiment of generating a combination vector by multiplying an image feature vector and an audio feature vector in the combination unit 106 of the present invention.
  • the second encoder 104 may output an audio feature vector (B) (C A ) having a size equal to the height (Heigh) ⁇ width (Width) of the image feature vector (A).
  • the second encoder 104 adjusts parameters in the neural network to output the voice feature vector B having the same size as the height ⁇ width of the image feature vector A (e.g., filter size, layer Can be adjusted).
  • the combination unit 106 may reshape the voice feature vector B (C A ) into a tensor having a shape corresponding to the height (Heigh) ⁇ width (Width) of the image feature vector (A). That is, the combination unit 106 rearranges the one-dimensional speech feature vector (B) (C A ) into a two-dimensional tensor (H, W) having a height (Heigh) ⁇ width (Width) to form a spatial form. Can be converted to
  • the combination unit 106 converts the voice feature vector (B) into an image. It is possible to rearrange a two-dimensional tensor having the same shape as the height (Heigh) ⁇ width (Width) of the feature vector (A).
  • the combination unit 106 multiplies the converted voice feature vector B (i.e., a vector in the form of (H, W)) for each channel (C I ) of the image feature vector (A), W, C I ) can be generated. In this case, it is possible to induce the speech feature vector to learn spatial representations.
  • the converted voice feature vector B i.e., a vector in the form of (H, W)
  • FIG. 5 is a diagram showing another embodiment of generating a combination vector by multiplying an image feature vector and an audio feature vector in the combination unit 106 of the present invention.
  • the second encoder 104 may output an audio feature vector B (C A ) having the same size as a channel of the image feature vector A.
  • the second encoder 104 adjusts parameters in the neural network to output the voice feature vector B having the same size as the channel of the image feature vector A (e.g., filter size, number of layers, Number, etc.) can be adjusted.
  • the combination unit 106 may reshape the voice feature vector B (C A ) into a tensor having a shape corresponding to a channel of the image feature vector A. That is, the combination unit 106 rearranges the one-dimensional speech feature vector (B) (C A ) into a three-dimensional tensor (1, 1, C A ) of a 1 ⁇ 1 ⁇ channel Can be converted into a traditional form.
  • the combination unit 106 multiplies the converted voice feature vector B (i.e., a tensor in the form of (1, 1, C A )) for each height and width of the image feature vector A, and multiplies the combination vector H , W, C I ) can be created.
  • the voice feature vector learns an average speech feature for each channel of the video feature vector.
  • FIG. 6 is a diagram showing a configuration of an apparatus for generating a speech video according to another embodiment of the present invention. Here, the parts that differ from the embodiment shown in FIG. 1 will be mainly described.
  • the apparatus 100 for generating a speech video may further include a residual block 110.
  • One or more residual blocks 110 may be provided between the combination unit 106 and the decoder 108.
  • a plurality of residual blocks 110 may be sequentially connected (serially connected) between the combination unit 106 and the decoder 108 to be provided.
  • the residual block 110 may include one or more convolutional layers.
  • the residual block 110 may have a structure in which convolution is performed on an input value (ie, a combination vector output from the combination unit 106), and an input value is added to a result of the convolution.
  • the residual block 110 may learn to minimize a difference between an input value and an output value of the residual block 110. Through this, an image feature vector and an audio feature vector extracted from video and audio, respectively, of the spoken video can be organically combined and used as an input of the decoder 108.
  • FIG. 7 is a diagram illustrating a configuration of an apparatus for generating a speech video according to another embodiment of the present invention.
  • the parts that differ from the embodiment shown in FIG. 1 will be mainly described.
  • the apparatus 100 for generating an utterance video may further include an attention unit 112, an utterance-related partial extraction unit 114, and a restoration output unit 116.
  • the attention unit 112 and the speech-related part extraction unit 114 may be respectively connected to the output terminals of the decoder 108. That is, the attention unit 112 and the speech-related part extraction unit 114 may input the speech video (hereinafter referred to as a primary reconstructed speech video) output from the decoder 108 as inputs.
  • a primary reconstructed speech video hereinafter referred to as a primary reconstructed speech video
  • the attention unit 112 may output an attention map by determining an attention weight for each pixel of the first reconstructed speech video. Attention weight may be a value between 0 and 1.
  • the attention unit 112 is a background image of a person used as an input of the first encoder 102 in the second restoration of the speech video in the restoration output unit 116 for each pixel of the speech video that has been primary restored (that is, An attention weight for determining which part of the speech-related image output from the speech-related part extraction unit 114 to be used may be set.
  • the utterance-related part extracting unit 114 may extract a part (ie, utterance-related part) related to the utterance from the first restored utterance video and output the utterance-related image.
  • the utterance-related part extracting unit 114 extracts a pixel value of an utterance-related part from the primary reconstructed utterance video, and the other parts are random values (eg, unused values). Fill it with to create an utterance-related video.
  • the restoration output unit 116 combines a background image of a person used as an input of the first encoder 102, an attention map output from the attention unit 112, and a speech-related image output from the utterance-related partial extraction unit 114 Thus, the final speech video can be output.
  • the restoration output unit 116 restores the final uttered video using the background image of a person for a part not related to utterance based on the attention map (including the attention weight value for each pixel), and the part related to utterance is an image related to utterance. You can use to restore the final speech video.
  • the restoration output unit 116 may restore the final speech video P through Equation 1 below.
  • A denotes an attention weight of each pixel
  • I denotes a pixel value of a background image of a person
  • C denotes a pixel value of a speech-related image.
  • the attention unit 112 determines the attention weight for each pixel, the attention weight of the part not related to the utterance may be set to be close to 1, and the part related to the utterance may be set such that the attention weight of the attention is close to 0. .
  • utterance videos of various people may be generated.
  • a background image of a plurality of people eg, A, B, C
  • speech audio signals of a plurality of people eg, A, B, C
  • the second encoder 104 may be input to the second encoder 104.
  • the person information embedding unit 118 may receive person identification information for each of a plurality of people.
  • the person information embedding unit 118 may generate an embedding vector by embedding each person identification information.
  • the combination unit 106 may generate a combination vector by combining an embedding vector, an image feature vector, and an audio feature vector for each person.
  • the decoder unit 108 may restore a speech video for each person based on a combination vector for each person.
  • FIG. 9 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12.
  • the computing device 12 may be the speech video generating device 100.
  • the computing device 12 includes at least one processor 14, a computer-readable storage medium 16 and a communication bus 18.
  • the processor 14 may cause the computing device 12 to operate according to the exemplary embodiments mentioned above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16.
  • the one or more programs may include one or more computer-executable instructions, and the computer-executable instructions are configured to cause the computing device 12 to perform operations according to an exemplary embodiment when executed by the processor 14 Can be.
  • the computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14.
  • the computer-readable storage medium 16 includes memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other types of storage media that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.
  • the communication bus 18 interconnects the various other components of the computing device 12, including the processor 14 and computer-readable storage medium 16.
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24.
  • the input/output interface 22 and the network communication interface 26 are connected to the communication bus 18.
  • the input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22.
  • the exemplary input/output device 24 includes a pointing device (mouse or track pad, etc.), a keyboard, a touch input device (touch pad or touch screen, etc.), a voice or sound input device, various types of sensor devices, and/or photographing devices Input devices and/or output devices such as display devices, printers, speakers, and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12, and may be connected to the computing device 12 as a separate device distinct from the computing device 12. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

음성 신호를 이용한 발화 동영상 생성 방법 및 장치가 개시된다. 개시되는 일 실시예에 따른 발화 동영상 생성 장치는, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 소정 인물의 발화 동영상 중 비디오 부분인 인물 배경 영상을 입력 받고, 인물 배경 영상으로부터 영상 특징 벡터를 추출하는 제1 인코더, 발화 동영상 중 오디오 부분인 발화 오디오 신호를 입력 받고, 발화 오디오 신호로부터 음성 특징 벡터를 추출하는 제2 인코더, 제1 인코더에서 출력되는 영상 특징 벡터 및 제2 인코더에서 출력되는 음성 특징 벡터를 조합하여 조합 벡터를 생성하는 조합부, 및 조합 벡터를 입력으로 하여 인물의 발화 동영상을 복원하는 디코더를 포함한다.

Description

음성 신호를 이용한 발화 동영상 생성 방법 및 장치
본 발명의 실시예는 머신 러닝에 기반한 발화 동영상 생성 기술과 관련된다.
최근, 인공 지능 분야의 기술 발전에 따라 다양한 유형의 콘텐츠가 인공 지능 기술에 기초하여 생성되고 있다. 그 일 예로, 어떤 전달하고자 하는 음성 메시지가 있을 때, 그 음성 메시지를 유명 인물(예를 들어, 대통령 등)이 말하는 것과 같은 발화 동영상을 생성하여 사람들의 주의를 끌고자 하는 경우가 있다. 이는 유명 인물의 영상에서 유명 인물이 특정 메시지를 말하는 것처럼 입 모양 등을 특정 메시지에 맞게 생성하여 구현하게 된다.
이를 위하여, 종래에는 기존의 발화 영상에서 먼저 음성과 관련된 랜드마크 또는 키포인트를 생성하여 이에 대한 학습을 수행한 후, 학습된 모델을 이용하여 입력된 음성에 맞는 영상을 합성하는 방식을 사용하였다. 그러나, 이러한 종래 기술의 경우 학습을 위하여 키포인트를 추출하고 이를 표준 공간(화면 중심에서 정면을 바라보는 위치)으로 변환 및 역변환하는 과정이 필수적으로 요구되며, 키포인트를 합성하는 단계와 영상을 합성하는 단계가 필요한 바 그 절차가 복잡하다는 문제점이 있다.
한편, 키포인트를 사용하지 않는 방식의 경우, 얼굴 부분만 잘라 크기 및 위치를 정렬한 후 입력된 음성에 맞는 영상을 합성하는 방식을 사용하여, 인물의 자연스러운 움직임을 반영하지 못하기 때문에 결과물이 부자연스럽다는 문제점이 있다.
개시되는 실시예는 발화 시 발생하는 움직임 또는 제스쳐를 반영할 수 있는 발화 동영상 생성 방법 및 장치를 제공하기 위한 것이다.
개시되는 실시예는 디코더로 입력되는 조합 벡터의 위상을 일정하게 하여 학습의 효율을 높일 수 있는 발화 동영상 생성 방법 및 장치를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 발화 동영상 생성 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 소정 인물의 발화 동영상 중 비디오 부분인 인물 배경 영상을 입력 받고, 상기 인물 배경 영상으로부터 영상 특징 벡터를 추출하는 제1 인코더; 상기 발화 동영상 중 오디오 부분인 발화 오디오 신호를 입력 받고, 상기 발화 오디오 신호로부터 음성 특징 벡터를 추출하는 제2 인코더; 상기 제1 인코더에서 출력되는 영상 특징 벡터 및 상기 제2 인코더에서 출력되는 음성 특징 벡터를 조합하여 조합 벡터를 생성하는 조합부; 및 상기 조합 벡터를 입력으로 하여 상기 인물의 발화 동영상을 복원하는 디코더를 포함한다.
상기 영상 특징 벡터는, 높이(Heigh)×폭(Width)×채널(Channel) 형태의 3차원 텐서이고, 상기 음성 특징 벡터는, 채널(Channel) 형태의 1차원 벡터이며, 상기 조합부는, 상기 음성 특징 벡터를 높이 방향으로 상기 영상 특징 벡터의 높이만큼 복사하고, 폭 방향으로 상기 영상 특징 벡터의 폭만큼 복사하여 상기 영상 특징 벡터와 동일한 형태의 텐서로 만들고, 상기 영상 특징 벡터와 동일한 형태의 음성 특징 벡터와 상기 영상 특징 벡터를 이어 붙여(Concatenate) 조합 벡터를 생성할 수 있다.
상기 제1 인코더로 입력되는 인물 배경 영상은, 상기 인물의 발화와 관련된 부분이 마스크로 가려지고, 상기 인물의 얼굴 및 상반신이 포함된 것일 수 있다.
상기 영상 특징 벡터는, 높이(Heigh)×폭(Width)×채널(Channel) 형태의 3차원 텐서이고, 상기 음성 특징 벡터는, 채널(Channel) 형태의 1차원 벡터이며, 상기 제2 인코더는, 상기 영상 특징 벡터의 높이(Heigh)×폭(Width)과 동일한 크기를 가지는 음성 특징 벡터를 출력하도록 마련되고, 상기 조합부는, 상기 음성 특징 벡터를 상기 영상 특징 벡터의 높이(Heigh)×폭(Width)과 대응되는 형태의 2차원 텐서로 재배열하고, 재배열된 음성 특징 벡터를 상기 영상 특징 벡터의 각 채널마다 곱하여 조합 벡터를 생성할 수 있다.
상기 제1 인코더로 입력되는 인물 배경 영상은, 상기 인물의 발화와 관련된 부분이 마스크로 가려지고, 상기 인물의 얼굴 및 상반신이 포함된 것일 수 있다.
상기 영상 특징 벡터는, 높이(Heigh)×폭(Width)×채널(Channel) 형태의 3차원 텐서이고, 상기 음성 특징 벡터는, 채널(Channel) 형태의 1차원 벡터이며, 상기 제2 인코더는, 상기 영상 특징 벡터의 채널(Channel)과 동일한 크기를 가지는 음성 특징 벡터를 출력하도록 마련되고, 상기 조합부는, 상기 음성 특징 벡터를 상기 영상 특징 벡터의 채널과 대응되는 형태의 3차원 텐서로 재배열하고, 재배열된 음성 특징 벡터를 상기 영상 특징 벡터의 각 높이 및 폭에 곱하여 조합 벡터를 생성할 수 있다.
상기 제1 인코더로 입력되는 인물 배경 영상은, 상기 인물의 발화와 관련된 부분이 마스크로 가려지고, 상기 인물의 얼굴 및 상반신이 포함된 것일 수 있다.
개시되는 일 실시예에 따른 발화 동영상 생성 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 소정 인물의 발화 동영상 중 비디오 부분인 인물 배경 영상을 입력 받고, 상기 인물 배경 영상으로부터 영상 특징 벡터를 추출하는 동작; 상기 발화 동영상 중 오디오 부분인 발화 오디오 신호를 입력 받고, 상기 발화 오디오 신호로부터 음성 특징 벡터를 추출하는 동작; 상기 제1 인코더에서 출력되는 영상 특징 벡터 및 상기 제2 인코더에서 출력되는 음성 특징 벡터를 조합하여 조합 벡터를 생성하는 동작; 및 상기 조합 벡터를 입력으로 하여 상기 인물의 발화 동영상을 복원하는 동작을 포함한다.
개시되는 실시예에 의하면, 발화와 관련된 부분을 마스킹 처리한 상태에서 얼굴 및 상반신이 포함된 인물 배경 영상을 입력으로 하여 학습하기 때문에, 사람의 발화 시 나타나는 얼굴 움직임, 목 움직임, 및 어깨 움직임 등과 같은 그 사람만의 독특한 제스쳐 또는 특징을 반영하여 발화 동영상을 생성할 수 있으며, 그로 인해 보다 자연스러운 발화 동영상을 생성할 수 있게 된다.
또한, 영상 특징 벡터와 음성 특징 벡터를 곱하여 조합 벡터를 생성함으로써, 디코더로 입력되는 특징 벡터들의 위상을 일정하게 하여 학습의 효율성을 높임과 동시에 비디오 부분과 오디오 부분의 공간적 연관성을 학습하도록 유도할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 발화 동영상 생성 장치의 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 발화 동영상 생성 장치를 통해 발화 동영상을 추론하는 상태를 나타낸 도면
도 3은 본 발명의 일 실시예에 따른 발화 동영상 생성 장치에서 조합 벡터를 생성하는 과정을 나타낸 도면
도 4는 본 발명의 조합부에서 영상 특징 벡터와 음성 특징 벡터를 곱하여 조합 벡터를 생성하는 일 실시예를 나타낸 도면
도 5는 본 발명의 조합부에서 영상 특징 벡터와 음성 특징 벡터를 곱하여 조합 벡터를 생성하는 다른 실시예를 나타낸 도면
도 6은 본 발명의 다른 실시예에 따른 발화 동영상 생성 장치의 구성을 나타낸 도면
도 7은 본 발명의 또 다른 실시예에 따른 발화 동영상 생성 장치의 구성을 나타낸 도면
도 8은 본 발명의 실시예에서 복수의 인물들에 대한 발화 동영상을 생성하는 신경망 구조를 나타낸 도면
도 9는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 발화 동영상 생성 장치의 구성을 나타낸 블록도이다. 도 1을 참조하면, 발화 동영상 생성 장치(100)는 제1 인코더(102), 제2 인코더(104), 조합부(106), 및 디코더(108)를 포함할 수 있다.
도 1에 도시된 발화 동영상 생성 장치(100)의 구성은, 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 본 발명에 따른 기능을 수행하기 위하여 상호 기능적으로 연결될 수 있으며, 어느 하나 이상의 구성이 실제 물리적으로는 서로 통합되어 구현될 수도 있다.
예시적인 실시예에서, 발화 동영상 생성 장치(100)는 합성곱 신경망(Convolutional Neural Network : CNN) 기반의 머신 러닝 기술로 구현될 수 있으나, 머신 러닝 기술이 이에 한정되는 것은 아니며 그 이외의 다양한 머신 러닝 기술이 적용될 수 있다. 이하에서는, 발화 동영상 생성을 위한 학습 과정을 위주로 설명하기로 한다.
제1 인코더(102)는 인물 배경 영상을 입력으로 하여 영상 특징 벡터를 추출하도록 학습되는 머신 러닝 모델일 수 있다. 이하, "벡터"는 "텐서"를 포함하는 의미로 사용될 수 있다.
여기서, 제1 인코더(102)로 입력되는 인물 배경 영상은 인물이 발화하는(말을 하는) 영상이다. 인물 배경 영상은 인물의 얼굴과 상반신이 포함된 영상일 수 있다. 즉, 인물 배경 영상은 해당 인물이 발화 할 때 나타나는 얼굴, 목, 및 어깨 등의 움직임이 보여지도록 얼굴뿐만 아니라 상반신이 포함된 영상일 수 있다.
제1 인코더(102)로 입력되는 인물 배경 영상에서 발화와 관련된 부분은 마스킹(Masking) 처리될 수 있다. 즉, 인물 배경 영상에서 발화와 관련된 부분(예를 들어, 입 및 입 주위 부분 등)은 마스크(M)로 가릴 수 있다. 또한, 마스킹 처리 시 인물 배경 영상에서 인물의 발화에 따른 얼굴 움직임, 목 움직임, 및 어깨 움직임 등과 관련된 부분은 마스킹 처리되지 않도록 할 수 있다. 그러면, 제1 인코더(102)에서는 인물 배경 영상에서 발화와 관련된 부분을 제외한 부분의 영상 특징 벡터를 추출하게 된다.
제1 인코더(102)는 하나 이상의 합성곱 층(Convolutional Layer) 및 하나 이상의 풀링 층(Pooling Layer)를 포함할 수 있다. 합성곱 층은 입력되는 인물 배경 영상에서 기 설정된 크기(예를 들어, 3×3 픽셀 크기)의 필터를 일정 간격으로 이동시키면서 해당 필터에 대응되는 픽셀들의 특징 값을 추출할 수 있다. 풀링 층은 합성곱 층의 출력을 입력으로 받아 다운 샘플링(Down Sampling)을 수행할 수 있다.
제2 인코더(104)는 발화 오디오 신호를 입력으로 하여 음성 특징 벡터를 추출하도록 학습되는 머신 러닝 모델이다. 여기서, 발화 오디오 신호는 제1 인코더(102)로 입력되는 인물 배경 영상(즉, 인물이 발화하는 영상) 중 오디오 부분에 해당한다. 다시 말하면, 인물이 발화하는 동영상에서 비디오 부분은 제1 인코더(102)로 입력되고, 오디오 부분은 제2 인코더(104)로 입력될 수 있다. 제2 인코더(104)는 하나 이상의 합성곱 층(Convolutional Layer) 및 하나 이상의 풀링 층(Pooling Layer)를 포함할 수 있으나, 제2 인코더(104)의 신경망 구조가 이에 한정되는 것은 아니다.
제1 인코더(102)로 입력되는 인물 배경 영상과 제2 인코더(104)로 입력되는 발화 오디오 신호의 시간은 서로 동기화 될 수 있다. 즉, 인물이 발화하는 동영상에서 동일한 시간 대의 구간 중 비디오는 제1 인코더(102)로 입력되고, 오디오는 제2 인코더(104)로 입력될 수 있다. 이때, 인물 배경 영상 및 발화 오디오 신호는 기 설정된 단위 시간(예를 들어, 하나의 프레임 또는 복수 개의 연속된 프레임 등)마다 제1 인코더(102) 및 제2 인코더(104)로 입력될 수 있다.
조합부(106)는 제1 인코더(102)에서 출력되는 영상 특징 벡터 및 제2 인코더(104)에서 출력되는 음성 특징 벡터를 조합하여 조합 벡터를 생성할 수 있다. 예시적인 실시예에서, 조합부(106)는 영상 특징 벡터와 음성 특징 벡터를 연결(Concatenate)하여 조합 벡터를 생성할 수 있으나, 이에 한정되는 것은 아니다.
디코더(108)는 조합부(106)에서 출력되는 조합 벡터를 입력으로 하여 인물의 발화 동영상을 복원할 수 있다. 구체적으로, 디코더(108)는 제2 인코더(104)에서 출력되는 음성 특징 벡터(즉, 인물이 발화하는 동영상에서 오디오 부분의 특징)를 기반으로 제1 인코더(102)에서 출력되는 영상 특징 벡터(즉, 인물이 발화하는 동영상에서 비디오 부분으로, 발화 관련된 부분이 마스크로 가려진 부분의 특징)의 마스크(M)로 가려진 부분(즉, 발화와 관련된 부분)을 복원하도록 학습되는 머신 러닝 모델일 수 있다. 즉, 디코더(108)는 인물 배경 영상에서 발화와 관련된 부분이 마스킹 된 경우, 오디오 신호를 이용하여 마스킹 된 영역을 복원하도록 학습되는 모델일 수 있다.
예시적인 실시예에서, 디코더(108)는 제1 인코더(102)에서 출력되는 영상 특징 벡터와 제2 인코더(104)에서 출력되는 음성 특징 벡터가 조합된 조합 벡터에 역 합성곱(Deconvolution)을 수행한 후 업 샘플링(Up Sampling)을 수행하여 발화 동영상을 생성할 수 있다.
디코더(108)는 생성된 발화 동영상과 원래의 발화 동영상(즉, 정답값)을 비교하여, 생성된 발화 동영상(즉, 오디오 부분을 통해 발화 관련된 부분을 복원한 동영상)이 원래의 발화 동영상에 가까워지도록 학습 파라미터(예를 들어, 손실 함수, 소프트맥스 함수 등)를 조절할 수 있다.
도 2는 본 발명의 일 실시예에 따른 발화 동영상 생성 장치를 통해 발화 동영상을 추론하는 상태를 나타낸 도면이다.
도 2를 참조하면, 제1 인코더(102)는 인물 배경 영상을 입력받는다. 여기서, 인물 배경 영상은 학습 과정에서 사용된 인물 배경 영상일 수 있다. 인물 배경 영상은 인물의 얼굴과 상반이 포함된 영상일 수 있다. 또한, 인물 배경 영상은 발화와 관련된 부분이 마스크(M)로 가려질 수 있다. 제1 인코더(102)는 인물 배경 영상으로부터 영상 특징 벡터를 추출할 수 있다.
제2 인코더(104)는 발화 오디오 신호를 입력받는다. 여기서, 발화 오디오 신호는 제1 인코더(102)로 입력되는 인물 배경 영상과는 관련 없는 것일 수 있다. 예를 들어, 발화 오디오 신호는 인물 배경 영상 속 인물과는 다른 인물의 발화 오디오 신호일 수 있다. 그러나, 이에 한정되는 것은 아니며 발화 오디오 신호는 인물 배경 영상 속 인물이 발화한 것일 수도 있다. 이때, 해당 인물의 발화는 인물 배경 영상과는 관련 없는 배경 또는 상황에서 발화된 것일 수 있다. 제2 인코더(104)는 발화 오디오 신호로부터 음성 특징 벡터를 추출할 수 있다.
조합부(106)는 제1 인코더(102)에서 출력되는 영상 특징 벡터 및 제2 인코더(104)에서 출력되는 음성 특징 벡터를 조합하여 조합 벡터를 생성할 수 있다.
디코더(108)는 조합 벡터를 입력으로 하여 발화 동영상을 복원하여 출력할 수 있다. 즉, 디코더(108)는 제2 인코더(104)에서 출력되는 음성 특징 벡터를 기반으로 인물 배경 영상의 발화와 관련된 부분을 복원하여 발화 동영상을 생성할 수 있다. 이 경우, 제2 인코더(104)로 입력되는 발화 오디오 신호는 인물 배경 영상과는 관련 없는 발화이나(예를 들어, 인물 배경 영상 속 인물이 발화한 것은 아니나), 인물 배경 영상 속 인물이 발화하는 것처럼 발화 동영상이 생성되게 된다.
개시되는 실시예에 의하면, 발화와 관련된 부분을 마스킹 처리한 상태에서 얼굴 및 상반신이 포함된 인물 배경 영상을 입력으로 하여 학습하기 때문에, 사람의 발화 시 나타나는 얼굴 움직임, 목 움직임, 및 어깨 움직임 등과 같은 그 사람만의 독특한 제스쳐 또는 특징을 반영하여 발화 동영상을 생성할 수 있으며, 그로 인해 보다 자연스러운 발화 동영상을 생성할 수 있게 된다.
또한, 발화 동영상 중 비디오 부분은 제1 인코더(102)로 입력하고, 오디오 부분은 제2 인코더(104)로 입력하며, 마스킹 처리된 발화와 관련된 부분을 오디오로부터 복원함으로써, 별도의 키포인트 예측 과정 없이 단일 신경망 모델을 통해 발화 동영상을 생성할 수 있게 된다.
또한, 얼굴뿐만 아니라 상반신도 포함된 발화 동영상을 생성하게 되므로, 해당 인물의 다른 신체 부분(예를 들어, 몸통이나 팔 다리 등)에 대해 추가적인 변환 또는 합성 과정 없이 자연스럽게 붙여 넣을 수 있게 된다.
도 3은 본 발명의 일 실시예에 따른 발화 동영상 생성 장치에서 조합 벡터를 생성하는 과정을 나타낸 도면이다.
도 3을 참조하면, 제1 인코더(102)에서 출력되는 영상 특징 벡터(A)는 높이(Heigh)×폭(Width)×채널(Channel) 형태의 데이터 구조(즉, 3차원 형태의 텐서)를 가지게 된다. 제1 인코더(102)는 인물 배경 영상이 입력되는 경우, 인물 배경 영상을 높이(Heigh) 및 폭(Width) 방향의 축으로 다운 샘플링 하여 압축된 형태의 영상 특징 벡터(A)(H, W, C I)를 출력하게 된다.
제2 인코더(104)에서 출력되는 음성 특징 벡터(B)는 채널(Channel) 형태의 데이터 구조(즉, 1차원 형태의 벡터)를 가지게 된다. 제2 인코더(104)는 발화 오디오 신호가 입력되는 경우, 발화 오디오 신호를 시간(Time) 축으로 다운 샘플링 하여 압축된 형태의 음성 특징 벡터(B)(C A)를 출력하게 된다.
여기서, 조합부(106)는 음성 특징 벡터(B)를 높이(Heigh) 방향으로 영상 특징 벡터(A)의 높이만큼 복사하고, 폭(Width) 방향으로 영상 특징 벡터(A)의 폭만큼 복사하여 영상 특징 벡터(A)와 동일한 형태의 벡터로 만들 수 있다((C A)→)(H, W, C A)). 즉, 조합부(106)는 음성 특징 벡터(B)를 영상 특징 벡터(A)와 동일한 높이(Heigh)×폭(Width)×채널(Channel) 형태의 텐서로 만들 수 있다.
다음으로, 조합부(106)는 음성 특징 벡터(B)(H, W, C A)와 영상 특징 벡터(A)(H, W, C I)를 이어 붙여(Concatenate) 조합 벡터(H, W, C I+C A)를 생성할 수 있다.
여기서는, 조합부(106)가 영상 특징 벡터(A)와 음성 특징 벡터(B)를 이어 붙여(Concatenate) 조합 벡터를 생성하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 영상 특징 벡터(A)와 음성 특징 벡터(B)를 곱하여(Multiplicate) 조합 벡터를 생성할 수도 있다. 이 경우, 디코더(108)로 입력되는 특징 벡터들의 위상을 일정하게 하여 학습의 효율성을 높임과 동시에 비디오 부분과 오디오 부분의 공간적 연관성을 학습하도록 유도할 수 있게 된다.
도 4는 본 발명의 조합부(106)에서 영상 특징 벡터와 음성 특징 벡터를 곱하여 조합 벡터를 생성하는 일 실시예를 나타낸 도면이다.
도 4를 참조하면, 제2 인코더(104)에서는 영상 특징 벡터(A)의 높이(Heigh)×폭(Width)과 동일한 크기를 가지는 음성 특징 벡터(B)(C A)를 출력할 수 있다. 제2 인코더(104)는 영상 특징 벡터(A)의 높이(Heigh)×폭(Width)과 동일한 크기의 음성 특징 벡터(B)를 출력하도록 신경망 내의 파라미터를 조절(예를 들어, 필터 크기, 레이어의 개수, 파라미터의 개수 등을 조절)할 수 있다.
조합부(106)는 음성 특징 벡터(B)(C A)를 영상 특징 벡터(A)의 높이(Heigh)×폭(Width)과 대응되는 형태의 텐서로 재배열(Reshape) 할 수 있다. 즉, 조합부(106)는 1차원 형태의 음성 특징 벡터(B)(C A)를 높이(Heigh)×폭(Width)의 2차원 형태의 텐서(H, W)로 재배열하여 공간적인 형태로 변환할 수 있다.
여기서, 음성 특징 벡터(B)(C A)는 영상 특징 벡터(A)의 높이(Heigh)×폭(Width)과 동일한 크기로 생성되었으므로, 조합부(106)는 음성 특징 벡터(B)를 영상 특징 벡터(A)의 높이(Heigh)×폭(Width)과 동일한 형태의 2차원 텐서로 재배열 할 수 있게 된다.
다음으로, 조합부(106)는 영상 특징 벡터(A)의 각 채널(C I)마다 변환된 음성 특징 벡터(B)(즉, (H, W) 형태의 벡터)를 곱하여 조합 벡터(H, W, C I)를 생성할 수 있다. 이 경우, 음성 특징 벡터가 공간적인 형태의 표상을 학습하도록 유도할 수 있게 된다.
도 5는 본 발명의 조합부(106)에서 영상 특징 벡터와 음성 특징 벡터를 곱하여 조합 벡터를 생성하는 다른 실시예를 나타낸 도면이다.
도 5를 참조하면, 제2 인코더(104)에서는 영상 특징 벡터(A)의 채널(Channel)과 동일한 크기를 가지는 음성 특징 벡터(B)(C A)를 출력할 수 있다. 제2 인코더(104)는 영상 특징 벡터(A)의 채널(Channel)과 동일한 크기의 음성 특징 벡터(B)를 출력하도록 신경망 내의 파라미터를 조절(예를 들어, 필터 크기, 레이어의 개수, 파라미터의 개수 등을 조절)할 수 있다.
조합부(106)는 음성 특징 벡터(B)(C A)를 영상 특징 벡터(A)의 채널(Channel)과 대응되는 형태의 텐서로 재배열(Reshape) 할 수 있다. 즉, 조합부(106)는 1차원 형태의 음성 특징 벡터(B)(C A)를 1×1×채널(Channel)의 3차원 형태의 텐서(1, 1, C A)로 재배열하여 공간적인 형태로 변환할 수 있다.
다음으로, 조합부(106)는 영상 특징 벡터(A)의 각 높이 및 폭마다 변환된 음성 특징 벡터(B)(즉, (1, 1, C A) 형태의 텐서)를 곱하여 조합 벡터(H, W, C I)를 생성할 수 있다. 이 경우, 음성 특징 벡터가 영상 특징 벡터의 각 채널에 대하여 평균적인 발화 특징을 학습하게 되는 효과가 있다.
도 6은 본 발명의 다른 실시예에 따른 발화 동영상 생성 장치의 구성을 나타낸 도면이다. 여기서는, 도 1에 도시된 실시예와 차이가 나는 부분을 중점적으로 설명하기로 한다.
도 6을 참조하면, 발화 동영상 생성 장치(100)는 레지듀얼 블록(110)을 더 포함할 수 있다. 레지듀얼 블록(110)은 조합부(106)와 디코더(108) 사이에 하나 이상이 마련될 수 있다. 예시적인 실시예에서, 레지듀얼 블록(110)은 조합부(106)와 디코더(108) 사이에 복수 개가 순차적으로 연결(직렬로 연결)되어 마련될 수 있다.
레지듀얼 블록(110)은 하나 이상의 합성곱 층(Convolutional Layer)을 포함할 수 있다. 레지듀얼 블록(110)은 입력 값(즉, 조합부(106)에서 출력되는 조합 벡터)에 대해 컨볼루션을 수행하고, 컨볼루션을 수행한 결과 값에 다시 입력 값을 더하는 구조로 이루어질 수 있다. 레지듀얼 블록(110)은 레지듀얼 블록(110)의 입력 값과 출력 값의 차이의 최소화를 학습하도록 할 수 있다. 이를 통해, 발화 동영상 중 비디오와 오디오로부터 각각 추출한 영상 특징 벡터와 음성 특징 벡터를 유기적으로 조합하여 디코더(108)의 입력으로 사용할 수 있게 된다.
도 7은 본 발명의 또 다른 실시예에 따른 발화 동영상 생성 장치의 구성을 나타낸 도면이다. 여기서는, 도 1에 도시된 실시예와 차이가 나는 부분을 중점적으로 설명하기로 한다.
도 7을 참조하면, 발화 동영상 생성 장치(100)는 어텐션부(112), 발화 관련 부분 추출부(114), 및 복원 출력부(116)를 더 포함할 수 있다.
여기서, 어텐션부(112) 및 발화 관련 부분 추출부(114)는 디코더(108)의 출력 단에 각각 연결될 수 있다. 즉, 어텐션부(112) 및 발화 관련 부분 추출부(114)는 디코더(108)에서 출력하는 발화 동영상(이하에서는 1차 복원된 발화 동영상이라 지칭할 수 있음)을 입력으로 할 수 있다.
어텐션부(112)는 1차 복원된 발화 동영상의 각 픽셀 별로 주의 집중 가중치(Attention Weight)를 결정하여 어텐션 맵(Attention Map)을 출력할 수 있다. 주의 집중 가중치는 0 ~ 1 사이의 값일 수 있다.
구체적으로, 어텐션부(112)는 1차 복원된 발화 동영상의 각 픽셀 별로 복원 출력부(116)에서 발화 동영상의 2차 복원 시 제1 인코더(102)의 입력으로 사용된 인물 배경 영상(즉, 발화 관련 부분이 마스크로 가려진 영상)과 발화 관련 부분 추출부(114)에서 출력되는 발화 관련 영상 중 어느 부분을 사용할 것인지를 결정하기 위한 주의 집중 가중치를 설정할 수 있다.
발화 관련 부분 추출부(114)는 1차 복원된 발화 동영상에서 발화와 관련된 부분(즉, 발화 관련 부분)을 추출하여 발화 관련 영상을 출력할 수 있다. 예시적인 실시예에서, 발화 관련 부분 추출부(114)는 1차 복원된 발화 동영상에서 발화 관련 부분의 픽셀 값을 추출하고, 그 이외의 부분은 랜덤한 값(예를 들어, 사용되지 않는 값)으로 채워 발화 관련 영상을 생성할 수 있다.
복원 출력부(116)는 제1 인코더(102)의 입력으로 사용된 인물 배경 영상, 어텐션부(112)에서 출력되는 어텐션 맵, 및 발화 관련 부분 추출부(114)에서 출력되는 발화 관련 영상을 조합하여 최종 발화 동영상을 출력할 수 있다.
복원 출력부(116)는 어텐션 맵(픽셀 별 주의 집중 가중치 값을 포함)을 기반으로 발화와 관련되지 않은 부분은 인물 배경 영상을 사용하여 최종 발화 동영상을 복원하고, 발화와 관련된 부분은 발화 관련 영상을 사용하여 최종 발화 동영상을 복원하도록 할 수 있다.
예시적인 실시예에서, 복원 출력부(116)는 하기의 수학식 1을 통해 최종 발화 동영상(P)을 복원할 수 있다.
(수학식 1)
P = A·I + (1-A)·C
여기서, A는 각 픽셀의 어텐션 가중치를 나타내고, I는 인물 배경 영상의 각 픽셀 값을 나타내며, C는 발화 관련 영상의 각 픽셀 값을 나타낸다.
수학식 1에 의하면, A가 0에 가까울수록 최종 발화 동영상은 발화 관련 영상에 의해 영향을 받고, A가 1에 가까울수록 최종 발화 동영상은 인물 배경 영상에 의해 영향을 받게 된다. 따라서, 어텐션부(112)에서 각 픽셀 별로 주의 집중 가중치를 결정할 때 발화와 관련되지 않은 부분은 주의 집중 가중치가 1에 가깝도록 하고, 발화와 관련된 부분은 주의 집중 가중치가 0에 가깝도록 설정할 수 있다.
한편, 개시되는 실시예에서는 도 8에서 도시하는 바와 같이, 여러 인물들의 발화 동영상을 생성할 수도 있다. 도 8을 참조하면, 제1 인코더(102)로 복수의 인물들(예를 들어, A, B, C)의 인물 배경 영상이 각각 입력될 수 있다. 그리고, 제2 인코더(104)로 복수의 인물들(예를 들어, A, B, C)의 발화 오디오 신호가 입력될 수 있다.
또한, 인물 정보 임베딩부(118)는 복수의 인물들 각각에 대한 인물 식별 정보를 입력 받을 수 있다. 인물 정보 임베딩부(118)는 각 인물 식별 정보를 임베딩하여 임베딩 벡터를 생성할 수 있다.
조합부(106)는 각 인물에 대한 임베딩 벡터, 영상 특징 벡터, 및 음성 특징 벡터를 조합하여 조합 벡터를 생성할 수 있다. 디코더부(108)는 각 인물에 대한 조합 벡터를 기반으로 각 인물에 대한 발화 동영상을 복원할 수 있다.
이와 같이, 복수의 인물들의 발화 동영상을 하나의 단일 신경망 모델을 통해 학습하도록 함으로써, 복수의 인물들의 영상과 음성에서 공통적인 부분을 학습할 수 있으므로 보다 신속하고 효율적인 학습이 가능하게 된다.
도 9는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 발화 동영상 생성 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (8)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
    소정 인물의 발화 동영상 중 비디오 부분인 인물 배경 영상을 입력 받고, 상기 인물 배경 영상으로부터 영상 특징 벡터를 추출하는 제1 인코더;
    상기 발화 동영상 중 오디오 부분인 발화 오디오 신호를 입력 받고, 상기 발화 오디오 신호로부터 음성 특징 벡터를 추출하는 제2 인코더;
    상기 제1 인코더에서 출력되는 영상 특징 벡터 및 상기 제2 인코더에서 출력되는 음성 특징 벡터를 조합하여 조합 벡터를 생성하는 조합부; 및
    상기 조합 벡터를 입력으로 하여 상기 인물의 발화 동영상을 복원하는 디코더를 포함하는, 발화 동영상 생성 장치.
  2. 청구항 1에 있어서,
    상기 영상 특징 벡터는, 높이(Heigh)×폭(Width)×채널(Channel) 형태의 3차원 텐서이고, 상기 음성 특징 벡터는, 채널(Channel) 형태의 1차원 벡터이며,
    상기 조합부는,
    상기 음성 특징 벡터를 높이 방향으로 상기 영상 특징 벡터의 높이만큼 복사하고, 폭 방향으로 상기 영상 특징 벡터의 폭만큼 복사하여 상기 영상 특징 벡터와 동일한 형태의 텐서로 만들고, 상기 영상 특징 벡터와 동일한 형태의 음성 특징 벡터와 상기 영상 특징 벡터를 이어 붙여(Concatenate) 조합 벡터를 생성하는, 발화 동영상 생성 장치.
  3. 청구항 2에 있어서,
    상기 제1 인코더로 입력되는 인물 배경 영상은, 상기 인물의 발화와 관련된 부분이 마스크로 가려지고, 상기 인물의 얼굴 및 상반신이 포함된 것인, 발화 동영상 생성 장치.
  4. 청구항 1에 있어서,
    상기 영상 특징 벡터는, 높이(Heigh)×폭(Width)×채널(Channel) 형태의 3차원 텐서이고, 상기 음성 특징 벡터는, 채널(Channel) 형태의 1차원 벡터이며,
    상기 제2 인코더는, 상기 영상 특징 벡터의 높이(Heigh)×폭(Width)과 동일한 크기를 가지는 음성 특징 벡터를 출력하도록 마련되고,
    상기 조합부는,
    상기 음성 특징 벡터를 상기 영상 특징 벡터의 높이(Heigh)×폭(Width)과 대응되는 형태의 2차원 텐서로 재배열하고, 재배열된 음성 특징 벡터를 상기 영상 특징 벡터의 각 채널마다 곱하여 조합 벡터를 생성하는, 발화 동영상 생성 장치.
  5. 청구항 4에 있어서,
    상기 제1 인코더로 입력되는 인물 배경 영상은, 상기 인물의 발화와 관련된 부분이 마스크로 가려지고, 상기 인물의 얼굴 및 상반신이 포함된 것인, 발화 동영상 생성 장치.
  6. 청구항 1에 있어서,
    상기 영상 특징 벡터는, 높이(Heigh)×폭(Width)×채널(Channel) 형태의 3차원 텐서이고, 상기 음성 특징 벡터는, 채널(Channel) 형태의 1차원 벡터이며,
    상기 제2 인코더는, 상기 영상 특징 벡터의 채널(Channel)과 동일한 크기를 가지는 음성 특징 벡터를 출력하도록 마련되고,
    상기 조합부는,
    상기 음성 특징 벡터를 상기 영상 특징 벡터의 채널과 대응되는 형태의 3차원 텐서로 재배열하고, 재배열된 음성 특징 벡터를 상기 영상 특징 벡터의 각 높이 및 폭에 곱하여 조합 벡터를 생성하는, 발화 동영상 생성 장치.
  7. 청구항 6에 있어서,
    상기 제1 인코더로 입력되는 인물 배경 영상은, 상기 인물의 발화와 관련된 부분이 마스크로 가려지고, 상기 인물의 얼굴 및 상반신이 포함된 것인, 발화 동영상 생성 장치.
  8. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    소정 인물의 발화 동영상 중 비디오 부분인 인물 배경 영상을 입력 받고, 상기 인물 배경 영상으로부터 영상 특징 벡터를 추출하는 동작;
    상기 발화 동영상 중 오디오 부분인 발화 오디오 신호를 입력 받고, 상기 발화 오디오 신호로부터 음성 특징 벡터를 추출하는 동작;
    상기 제1 인코더에서 출력되는 영상 특징 벡터 및 상기 제2 인코더에서 출력되는 음성 특징 벡터를 조합하여 조합 벡터를 생성하는 동작; 및
    상기 조합 벡터를 입력으로 하여 상기 인물의 발화 동영상을 복원하는 동작을 포함하는, 발화 동영상 생성 방법.
PCT/KR2020/007975 2019-06-21 2020-06-19 음성 신호를 이용한 발화 동영상 생성 방법 및 장치 WO2020256472A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/620,867 US20220399025A1 (en) 2019-06-21 2020-06-19 Method and device for generating speech video using audio signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190074150 2019-06-21
KR10-2019-0074150 2019-06-21
KR1020200070748A KR102346755B1 (ko) 2019-06-21 2020-06-11 음성 신호를 이용한 발화 동영상 생성 방법 및 장치
KR10-2020-0070748 2020-06-11

Publications (1)

Publication Number Publication Date
WO2020256472A1 true WO2020256472A1 (ko) 2020-12-24

Family

ID=74040297

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007975 WO2020256472A1 (ko) 2019-06-21 2020-06-19 음성 신호를 이용한 발화 동영상 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US20220399025A1 (ko)
WO (1) WO2020256472A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887789A (zh) * 2021-01-22 2021-06-01 北京百度网讯科技有限公司 视频生成模型的构建和视频生成方法、装置、设备及介质
CN115379287A (zh) * 2021-05-20 2022-11-22 辉达公司 使用一个或更多个神经网络从音频合成视频

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220151953A (ko) * 2021-05-07 2022-11-15 한국전자통신연구원 부가 정보를 이용한 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기
CN117292024B (zh) * 2023-11-24 2024-04-12 上海蜜度科技股份有限公司 基于语音的图像生成方法、装置、介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060090687A (ko) * 2003-09-30 2006-08-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 시청각 콘텐츠 합성을 위한 시스템 및 방법
KR20140037410A (ko) * 2012-09-18 2014-03-27 김상철 단어 자동 번역에 기초한 입술 모양 변경 장치 및 방법
WO2018213841A1 (en) * 2017-05-19 2018-11-22 Google Llc Multi-task multi-modal machine learning model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060090687A (ko) * 2003-09-30 2006-08-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 시청각 콘텐츠 합성을 위한 시스템 및 방법
KR20140037410A (ko) * 2012-09-18 2014-03-27 김상철 단어 자동 번역에 기초한 입술 모양 변경 장치 및 방법
WO2018213841A1 (en) * 2017-05-19 2018-11-22 Google Llc Multi-task multi-modal machine learning model

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TRIANTAFYLLOS AFOURAS; JOON SON CHUNG; ANDREW SENIOR; ORIOL VINYALS; ANDREW ZISSERMAN: "Deep Audio-Visual Speech Recognition", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 6 September 2018 (2018-09-06), 201 Olin Library Cornell University Ithaca, NY 14853, XP081079850 *
VOUGIOUKAS KONSTANTINOS; PETRIDIS STAVROS; PANTIC MAJA: "Realistic Speech-Driven Facial Animation with GANs", INTERNATIONAL JOURNAL OF COMPUTER VISION., KLUWER ACADEMIC PUBLISHERS, NORWELL., US, vol. 128, no. 5, 13 October 2019 (2019-10-13), US, pages 1398 - 1413, XP037130234, ISSN: 0920-5691, DOI: 10.1007/s11263-019-01251-8 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887789A (zh) * 2021-01-22 2021-06-01 北京百度网讯科技有限公司 视频生成模型的构建和视频生成方法、装置、设备及介质
CN112887789B (zh) * 2021-01-22 2023-02-21 北京百度网讯科技有限公司 视频生成模型的构建和视频生成方法、装置、设备及介质
CN115379287A (zh) * 2021-05-20 2022-11-22 辉达公司 使用一个或更多个神经网络从音频合成视频
US20220374637A1 (en) * 2021-05-20 2022-11-24 Nvidia Corporation Synthesizing video from audio using one or more neural networks
GB2609286A (en) * 2021-05-20 2023-02-01 Nvidia Corp Synthesizing video from audio using one or more neural networks

Also Published As

Publication number Publication date
US20220399025A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
WO2020256471A1 (ko) 머신 러닝 기반의 발화 동영상 생성 방법 및 장치
WO2020256472A1 (ko) 음성 신호를 이용한 발화 동영상 생성 방법 및 장치
KR20200145700A (ko) 머신 러닝 기반의 발화 동영상 생성 방법 및 장치
WO2020256475A1 (ko) 텍스트를 이용한 발화 동영상 생성 방법 및 장치
WO2022045486A1 (ko) 발화 동영상 생성 방법 및 장치
KR20200145701A (ko) 음성 신호를 이용한 발화 동영상 생성 방법 및 장치
US5826234A (en) Device and method for dubbing an audio-visual presentation which generates synthesized speech and corresponding facial movements
WO2022014800A1 (ko) 발화 동영상 생성 방법 및 장치
WO2022169035A1 (ko) 영상 품질을 향상시킬 수 있는 영상 합성 장치 및 방법
Hrytsyk et al. Augmented reality for people with disabilities
JPH10247254A (ja) 唇動きパラメータ発生装置
WO2022106654A2 (en) Methods and systems for video translation
WO2022255529A1 (ko) 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치
KR102437039B1 (ko) 영상 생성을 위한 학습 장치 및 방법
WO2022169036A1 (ko) 영상 품질을 향상시킬 수 있는 영상 합성 장치 및 방법
WO2022265273A1 (ko) 고인을 모사하는 가상 인물과 대화를 수행하는 서비스를 제공하는 방법 및 시스템
WO2022045485A1 (ko) 랜드마크를 함께 생성하는 발화 동영상 생성 장치 및 방법
KR102360840B1 (ko) 텍스트를 이용한 발화 동영상 생성 방법 및 장치
WO2023158226A1 (ko) 적대적 학습 기법을 이용한 음성 합성 방법 및 장치
WO2022124498A1 (ko) 립싱크 영상 생성 장치 및 방법
WO2023075508A1 (ko) 전자 장치 및 그 제어 방법
WO2023229091A1 (ko) 3d 립싱크 비디오 생성 장치 및 방법
WO2022004970A1 (ko) 신경망 기반의 특징점 학습 장치 및 방법
WO2022025359A1 (ko) 발화 영상 생성 방법 및 장치
WO2022149667A1 (ko) 립싱크 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20825803

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20825803

Country of ref document: EP

Kind code of ref document: A1