WO2019237708A1 - 基于深度学习的人际交互肢体语言自动生成方法及系统 - Google Patents

基于深度学习的人际交互肢体语言自动生成方法及系统 Download PDF

Info

Publication number
WO2019237708A1
WO2019237708A1 PCT/CN2018/122942 CN2018122942W WO2019237708A1 WO 2019237708 A1 WO2019237708 A1 WO 2019237708A1 CN 2018122942 W CN2018122942 W CN 2018122942W WO 2019237708 A1 WO2019237708 A1 WO 2019237708A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
recurrent neural
limb
audio
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/122942
Other languages
English (en)
French (fr)
Inventor
甘甜
马志鑫
宋雪萌
聂礼强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Publication of WO2019237708A1 publication Critical patent/WO2019237708A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the invention relates to the field of artificial intelligence technology, in particular to a method and system for automatically generating interpersonal body language based on deep learning.
  • Speech is one of the most effective ways to convey information to your audience.
  • the body language of the speaker during the speech is also very important for information transmission.
  • different speakers express themselves very differently during the presentation.
  • gestures are used as a visual perception to express the speaker's thoughts together with the speech.
  • gestures not only help the speaker to enrich the visual sense of his language content and help convey emotions, but sometimes also convey information that cannot be expressed in words (for example, good standing posture and physical movements can express a person's mental appearance and temperament , Which cannot be conveyed by language). Therefore, good body language can help speakers better interpret the subject.
  • one of the most effective ways to improve your speaking skills is to practice it with expert feedback and suggestions, but hiring an expert is expensive and therefore not practical in most cases.
  • the present invention provides a method and system for automatically generating interpersonal body language based on deep learning
  • the first aspect of the present invention provides a method for automatically generating interpersonal body language based on deep learning
  • Method for automatically generating interpersonal body language based on deep learning including:
  • Step (1) Extract the audio training features of the person in the time frame corresponding to each frame of image from the lecture video; at the same time, extract the limb training features of the person in each frame of image from the lecture video to establish the audio training features and limb training One-to-one correspondence between features;
  • Step (2) Construct a two-layer recurrent neural network model; use audio training features as input values of the two-layer recurrent neural network model, and use limb training features as output values of the two-layer recurrent neural network model.
  • the neural network model is trained to obtain a trained two-layer recurrent neural network model;
  • Step (3) extract audio test features from the audio of the limb motion to be recommended
  • Step (4) Input the audio test features into the trained two-layer recurrent neural network model and output the recommended limb test features.
  • the extracting the audio training features of the person in the time range corresponding to each frame of image from the lecture video is:
  • the audio signal of the speech video is evenly divided into lengths of Speech interval in seconds, where framerate is the number of frames per second; extract the sound intensity characteristics for each speech interval, convert the audio signal to text, and classify the text to obtain the emotion category characteristics; characterize the sound intensity characteristics and emotion category characteristics Fusion as audio training feature.
  • the extracting the limb training features of the person in each frame of the image from the lecture video refers to:
  • the video signal of the lecture video is divided into several frames of images in frame units.
  • the body language recognition system OpenPose is used to detect the coordinate positions of the joint points of the person in the image. After normalizing the coordinate positions of the joint points, Get the matrix of the position and relationship between the joints and joints of each frame of the image; calculate the angle of the joint angle according to the matrix of the positions of the joints and joints of each frame of the image, and map the current frame image to the preset according to the angle of the joint
  • the closest one of the active states is determined as a feature of limb training.
  • the joint angle refers to: a point is set in advance at the head position as a head node, a point is set in advance at the neck position as a neck node, and a point is set at the right shoulder joint position as a right shoulder joint.
  • Point preset a point at the left shoulder joint position as the left shoulder joint point, preset a point at the right elbow position as the right elbow joint point, preset a point at the left elbow position as the left elbow joint point, and in the right hand Set a point in advance as the right hand joint point, and a point in the left hand as the left hand joint point;
  • the first angle refers to the angle ⁇ H between the connection between the head node and the neck node and the connection between the neck node and the right shoulder joint point;
  • the second included angle refers to the angle inside the body ⁇ RS between the connection between the neck node and the right shoulder joint point and the connection between the right shoulder joint point and the right elbow joint point;
  • the third included angle refers to the angle inside the body ⁇ RE between the line connecting the right shoulder joint point with the right elbow joint point and the line between the right elbow joint point and the right hand joint point;
  • the fourth included angle refers to the angle inside the body ⁇ LS between the connection between the neck node and the left shoulder joint point and the connection between the left shoulder joint point and the left elbow joint point;
  • the fifth included angle refers to the angle inside the body ⁇ LE between the line between the left shoulder joint point and the left elbow joint point and the line between the left elbow joint point and the left hand joint point;
  • Pre-set active states including: the first included angle is set to m states, the second included angle is set to n states, the third included angle is set to o states, the fourth included angle is set to p states, the fifth Q angle states are set for each angle; the person's pose is divided into m * n * o * p * q states according to the combination of the states of each angle.
  • the first angle sets three states:
  • the second angle sets four states:
  • the third angle sets five states:
  • the fifth angle sets five states:
  • the character states are divided into 1200 states here.
  • the limb includes an upper limb and a head.
  • the two-layer recurrent neural network model includes two nested combined recurrent neural networks: a first recurrent neural network and a second recurrent neural network; the second recurrent neural network is inside the first recurrent neural network;
  • the first recurrent neural network includes a first encoder and a first decoder;
  • the second recurrent neural network includes a second encoder and a second decoder; the first encoder, the second encoder, the second decoder, and the first decoder
  • the encoders are connected in series; the input value of the first encoder is the audio training feature, the output value of the first encoder is input to the second encoder, the output value of the second encoder is input to the second decoder, and the second decoder The output value of is input to the first decoder, and the output value of the first decoder is a limb training feature;
  • step (2) audio training features are used as input values of the double-layer recurrent neural network model, and limb training features are used as output values of the double-layer recurrent neural network model.
  • the two-layer recurrent neural network model is trained to obtain a trained two-layer recurrent neural network model.
  • Step (201) The audio signal is divided into several sound behaviors according to the sound intensity, and the continuous audio signal whose sound intensity exceeds a set threshold is regarded as one sound behavior during the division process, and the continuous audio signal whose sound intensity does not exceed the set threshold is considered.
  • each sound behavior includes several speech intervals, each speech interval has a corresponding audio training feature; the audio training features corresponding to each sound behavior are input to a first encoder, the first encoder Output the hidden layer state of each audio training feature;
  • the first encoder outputs the hidden layer state of each audio training feature:
  • x i, u represents the u-th speech interval of the i-th voice behavior
  • h i, u refers to the hidden layer state obtained by encoding x i, u .
  • the final hidden layer state is recorded.
  • Step (203) treat the set of limb training features corresponding to each sound action as the movement action of the body; take the state of the hidden layer output by the second encoder each time as the state of the hidden layer of the action of the limb corresponding to the sound action;
  • step (203) the conditional probability P (o i
  • f i-1 is the last hidden layer state output of the second decoder.
  • f i-1 is set to 0, and o 1 ... o i-1 is the limbs decoded by all the previous second decoders.
  • the implicit expression of action behavior, c is the hidden layer state of all sound behaviors.
  • g i, j , o i ) predicted in step (204) is calculated as follows,
  • f i, j represents the predicted value corresponding to x i, j
  • g i, j represents the true value corresponding to x i, j
  • o i is the hidden expression of the decoded limb movement behavior
  • Step (205) Calculate a loss value between the predicted limb movement feature and the limb training feature by using a loss function. If the loss value is within a set range, it indicates that the training of the double-layer recurrent neural network model is qualified, and the process proceeds to step (3); Otherwise, it indicates that the training of the double-layer recurrent neural network model is unqualified. After adjusting the parameters of the double-layer recurrent neural network model, return to step (201) to continue training until the loss value is within the set range and end.
  • the audio test features are extracted from the audio of the limb motion to be recommended, the steps are:
  • the test audio signal is divided into lengths of Second voice interval, where framerate is the number of frames per second; extract the sound intensity characteristics for each voice interval; convert the audio signal to be tested into text, and classify the text to obtain the emotion category characteristics; the voice intensity characteristics and the emotion category characteristics Feature fusion is performed as an audio test feature.
  • the audio signal is divided into several sound behaviors according to the sound intensity, and the continuous audio signal whose sound intensity exceeds a set threshold is regarded as one sound behavior during the division process, and the sound is regarded as a sound behavior.
  • a continuous audio signal whose intensity does not exceed a set threshold is regarded as a sound behavior.
  • Each sound behavior includes several speech intervals, and each speech interval has a corresponding audio test feature.
  • the audio test features corresponding to each sound behavior are input to In the trained double-layer recurrent neural network model, the recommended limb test features are output, and the limb test features are displayed.
  • a system for automatically generating interpersonal body language based on deep learning is provided;
  • Automatic interpersonal body language generation system based on deep learning including:
  • a computer-readable storage medium is provided.
  • a computer-readable storage medium stores computer instructions thereon, and when the computer instructions are executed by a processor, the steps described in any one of the above methods are completed.
  • the present invention can use the data analysis method and artificial intelligence technology to provide more accurate limb movement guidance for the speaker, enable it to be deeply integrated with the speech content, better express the content of communication, and improve the efficiency of interpersonal communication.
  • a hierarchical network structure is designed.
  • the unit layer in the network structure guarantees the continuity of the action flow by simultaneously encoding the voice behavior and the continuous speech intervals inside the limb movements.
  • the sequence layer in the network structure models the limb behaviors generated by different sound behaviors and the probability transfer relationship between different limb movements, ensuring the integrity and richness of limb movements.
  • FIG. 1 is a flowchart of the present invention
  • Figure 2 (a) and Figure 2 (b) are the extraction results of limb movements
  • Figure 3 is a model flowchart
  • FIG. 4 is a schematic diagram of an encoder
  • FIG. 5 is a schematic diagram of a decoder
  • FIG. 6 is a schematic diagram of sound behavior detection
  • 7 (a) to 7 (d) are schematic diagrams of joint angles.
  • the first embodiment of the present invention provides a method for automatically generating interpersonal body language based on deep learning
  • a method for automatically generating interpersonal body language based on deep learning includes:
  • Step (1) Extract the audio training features of the person in the time frame corresponding to each frame of image from the lecture video; at the same time, extract the limb training features of the person in each frame of image from the lecture video to establish the audio training features and limb training One-to-one correspondence between features;
  • the extracting the audio training features of the person in the time range corresponding to each frame of image from the lecture video is:
  • the audio signal of the speech video is evenly divided into lengths of Speech interval in seconds, where framerate is the number of frames per second; extract the sound intensity characteristics for each speech interval, convert the audio signal to text, and classify the text to obtain the emotion category characteristics; characterize the sound intensity characteristics and emotion category characteristics Fusion as audio training feature.
  • the extracting the limb training features of the person in each frame of the image from the lecture video refers to:
  • the video signal of the lecture video is divided into several frames of images in frame units.
  • the body language recognition system OpenPose is used to detect the coordinate positions of the joint points of the person in the image. Get the matrix of the position and relationship between the joints and joints of each frame of the image; calculate the angle of the joint angle according to the matrix of the positions of the joints and joints of each frame of the image, and map the current frame image to the preset according to the angle of the joint.
  • the closest one of the active states is determined as a feature of limb training.
  • the joint angle refers to: a point is set in advance at the head position as a head node, a point is set in advance at the neck position as a neck node, and a point is set at the right shoulder joint position as a right shoulder joint.
  • Point preset a point at the left shoulder joint position as the left shoulder joint point, preset a point at the right elbow position as the right elbow joint point, preset a point at the left elbow position as the left elbow joint point, and in the right hand Set a point in advance as the right hand joint point, and a point in the left hand as the left hand joint point;
  • the first angle refers to the angle ⁇ H between the connection between the head node and the neck node and the connection between the neck node and the right shoulder joint point;
  • the second included angle refers to the angle inside the body ⁇ RS between the connection between the neck node and the right shoulder joint point and the connection between the right shoulder joint point and the right elbow joint point;
  • the third included angle refers to the angle inside the body ⁇ RE between the line connecting the right shoulder joint point with the right elbow joint point and the line between the right elbow joint point and the right hand joint point;
  • the fourth included angle refers to the angle inside the body ⁇ LS between the connection between the neck node and the left shoulder joint point and the connection between the left shoulder joint point and the left elbow joint point;
  • the fifth included angle refers to the angle inside the body ⁇ LE between the line between the left shoulder joint point and the left elbow joint point and the line between the left elbow joint point and the left hand joint point;
  • Pre-set active states including: the first included angle is set to m states, the second included angle is set to n states, the third included angle is set to o states, the fourth included angle is set to p states, the fifth Q angle states are set for each angle; the person's pose is divided into m * n * o * p * q states according to the combination of the states of each angle.
  • the first angle sets three states:
  • the second angle sets four states:
  • the third angle sets five states:
  • the fifth angle sets five states:
  • the character states are divided into 1200 states here.
  • the limb includes an upper limb and a head.
  • Step (2) Construct a two-layer recurrent neural network model; use audio training features as input values of the two-layer recurrent neural network model, and use limb training features as output values of the two-layer recurrent neural network model.
  • the neural network model is trained to obtain a trained two-layer recurrent neural network model;
  • the two-layer recurrent neural network model includes two nested combined recurrent neural networks: a first recurrent neural network and a second recurrent neural network; the second recurrent neural network is inside the first recurrent neural network;
  • the first recurrent neural network includes a first encoder and a first decoder;
  • the second recurrent neural network includes a second encoder and a second decoder; the first encoder, the second encoder, the second decoder, and the first decoder
  • the encoders are connected in series; the input value of the first encoder is the audio training feature, the output value of the first encoder is input to the second encoder, the output value of the second encoder is input to the second decoder, and the second decoder The output value of is input to the first decoder, and the output value of the first decoder is a limb training feature;
  • step (2) audio training features are used as input values of the double-layer recurrent neural network model, and limb training features are used as output values of the double-layer recurrent neural network model.
  • the two-layer recurrent neural network model is trained to obtain a trained two-layer recurrent neural network model.
  • Step (201) The audio signal is divided into several sound behaviors according to the sound intensity, and the continuous audio signal whose sound intensity exceeds a set threshold is regarded as one sound behavior during the division process, and the continuous audio signal whose sound intensity does not exceed the set threshold is considered.
  • each sound behavior includes several speech intervals, each speech interval has a corresponding audio training feature; the audio training features corresponding to each sound behavior are input to a first encoder, the first encoder Output the hidden layer state of each audio training feature;
  • the first encoder outputs the hidden layer state of each audio training feature:
  • x i, u represents the u-th speech interval of the i-th voice behavior
  • h i, u refers to the hidden layer state obtained by encoding x i, u .
  • the final hidden layer state is recorded.
  • Step (203) Treat the set of limb training features corresponding to each sound action as the movement action of the body; use the state of the hidden layer output by the second encoder each time as the state of the hidden layer of the action of the limb corresponding to the sound action;
  • f i-1 , c) of the decoder output hidden expression o i is expressed as:
  • f i-1 is the last hidden layer state output of the second decoder.
  • f i-1 is set to 0, and o 1 ... o i-1 is the limbs decoded by all the previous second decoders.
  • the implicit expression of action behavior, c is the hidden layer state of all sound behaviors.
  • g i, j , o i ) is calculated as follows,
  • step (205) use The loss function calculates the loss value between the predicted limb movement characteristics and the limb training characteristics. If the loss value is within the set range, it indicates that the double-layer recurrent neural network model is qualified and proceeds to step (3); otherwise, it indicates the double-layer recurrent nerve The network model training is unsatisfactory. After adjusting the parameters of the double-layer recurrent neural network model, return to step (201) to continue training until the loss value ends within the set range.
  • Step (3) extract audio test features from the audio of the limb motion to be recommended
  • the audio test features are extracted from the audio of the limb motion to be recommended, the steps are:
  • the test audio signal is divided into lengths of Second voice interval, where framerate is the number of frames per second; extract the sound intensity feature or frequency feature for each voice interval; convert the audio signal to be tested into text, and classify the text to obtain the emotion category feature; Feature fusion with emotion category features as audio test features;
  • Step (4) Input the audio test features into the trained two-layer recurrent neural network model and output the recommended limb test features.
  • the audio signal is divided into several sound behaviors according to the sound intensity.
  • a continuous audio signal whose sound intensity exceeds a set threshold is regarded as a sound behavior
  • a continuous audio signal whose sound intensity does not exceed the set threshold is regarded as a sound behavior.
  • Each sound behavior includes several speech intervals, each speech interval has a corresponding audio test feature; the audio test features corresponding to each sound behavior are input into the trained double-layer recurrent neural network model, and the recommended limb is output Test features, show the test features of the limb.
  • the second embodiment of the present invention provides a system for automatically generating interpersonal body language based on deep learning
  • Automatic interpersonal body language generation system based on deep learning including:
  • a third embodiment of the present invention provides a computer-readable storage medium
  • a computer-readable storage medium stores computer instructions thereon, and when the computer instructions are executed by a processor, the steps described in any one of the above methods are completed.
  • the invention proposes a double-layer cyclic encoder-decoder network to encode the relationship between speech and gesture sequences and the gesture hierarchy. Finally, given the speech input, using the learned network model will generate appropriate gestures and visualize them for more effective body language recommendations.
  • the invention constructs a large-scale database, and does not need manual annotation, and can learn a more accurate probability model from a large amount of data.
  • a hierarchical model for analyzing the relationship between speech and body language is proposed, which can better simulate the state of a person during a speech.
  • a two-layer cyclic encoding-decoding network based on a language structure model includes: a unit-level encoder and decoder, and a sequence-level encoder and decoder.
  • x the feature set of speech features extracted from the video
  • y the feature set of limbs detected in the video.
  • x i u
  • N i the number of speech intervals of the i-th sound behavior.
  • h i u refers to the hidden state obtained by encoding x i, u , Is the encoding function ...
  • GRU function specifically:
  • This hidden layer state contains all previous input information and can be used as the semantic encoding of all speech intervals for the entire sound behavior.
  • the second decoder is the second decoder
  • f i-1 is the last hidden layer state output of the previous first decoder.
  • the implicit expression of c is the intermediate hidden variable of all speech behaviors. According to this probability formula, we can use the second decoder to decode the implicit expression of the limb movement behavior we want to get.
  • f i, j , g i, j respectively represent the predicted values and real values corresponding to x i, j
  • o i is the hidden expression of the input limb movement behavior.
  • the entire decoding process is shown in FIG. 5.
  • N f is the number of speech intervals of the speech (limb movement).
  • the boundary of the shadow divides the sound sequence into several sound behaviors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Child & Adolescent Psychology (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Abstract

一种基于深度学习的人际交互肢体语言自动生成方法及系统，包括：步骤(1)：从演讲视频中提取每一帧图像所对应时间范围内人物的音频训练特征；同时，从演讲视频中提取每一帧图像内人物的肢体训练特征，建立音频训练特征与肢体训练特征之间的一一对应关系；步骤(2)：构建双层循环神经网络模型；将音频训练特征作为双层循环神经网络模型的输入值，将肢体训练特征作为双层循环神经网络模型的输出值，对已构建的双层循环神经网络模型进行训练，得到训练好的双层循环神经网络模型；步骤(3)：从待推荐肢体动作的音频中提取音频测试特征；步骤(4)：将音频测试特征输入到训练好的双层循环神经网络模型中，输出推荐的肢体测试特征。

Description

基于深度学习的人际交互肢体语言自动生成方法及系统 技术领域
本发明涉及人工智能技术领域，特别是涉及基于深度学习的人际交互肢体语言自动生成方法及系统。
背景技术
演讲是给观众传递信息的最有效方式之一。除了演讲者的演说内容外，在其演讲过程中演讲者的肢体语言对信息传达也十分重要。通常，不同的演讲者在演讲过程中的表达方式有很大不同。其中，手势作为一种视觉感知，与演说一同表达演讲者的思想。在演讲过程中，手势不仅帮助演讲者丰富其语言内容的画面感，帮助传达情绪，有时还能传达言语无法表达的信息(例如，好的站姿和肢体动作能表现一个人的精神面貌与气质，这是语言所无法传达的)。所以，好的肢体语言能帮助演讲者更好的诠释主题。通常，提高演讲水平最有效方法之一是通过专家的反馈和建议来练习，但雇用专家是昂贵的，因此大部分情况下不太实际。
随着大数据和人工智能技术的兴起，人们对多媒体数据的处理能力飞速增长。在演讲领域，人们对演讲的深度分析的需求越来越大，但始终没能得到很好的解决。在此之前，人们进行了很多诸如演讲打分，语音行为分析等一系列研究。但这些研究结果一方面需要人工标注，只能在小批量数据上进行。另一方面，没有给出具体的建议，无论是分数还是一系列的统计信息，都不能直观的给用户明了的建议。
发明内容
为了解决现有技术的不足，本发明提供了基于深度学习的人际交互肢体语言自动生成方法及系统；
本发明第一方面，提供了基于深度学习的人际交互肢体语言自动生成方法；
基于深度学习的人际交互肢体语言自动生成方法，包括：
步骤(1)：从演讲视频中提取每一帧图像所对应时间范围内人物的音频训练特征；同时，从演讲视频中提取每一帧图像内人物的肢体训练特征，建立音频训练特征与肢体训练特征之间的的一一对应关系；
步骤(2)：构建双层循环神经网络模型；将音频训练特征作为双层循环神经网络模型的输入值，将肢体训练特征作为双层循环神经网络模型的输出值，对已构建的双层循环神经网络模型进行训练，得到训练好的双层循环神经网络模型；
步骤(3)：从待推荐肢体动作的音频中提取音频测试特征；
步骤(4)：将音频测试特征输入到训练好的双层循环神经网络模型中，输出推荐的肢体测试特征。
作为本发明的进一步改进，所述从演讲视频中提取每一帧图像所对应时间范围内人物的音频训练特征；是指：
将演讲视频的音频信号均匀划分为长度为
Figure PCTCN2018122942-appb-000001
秒的语音区间，其中framerate为每秒的帧数；对每个语音区间提取声音强度特征，通过音频信号转为文本，对文本进行分类得到感情类别特征；将声音强度特征和感情类别特征进行特征融合作为音频训练特征。
作为本发明的进一步改进，所述从演讲视频中提取每一帧图像内人物的肢体训练特征；是指：
将演讲视频的视频信号以帧为单位划分为若干帧图像，对每一帧图像使用肢体语言识别系统OpenPose检测出图像中人物各关节点坐标位置，对各关节点坐标位置进行归一化后，得到每一帧图像的人物关节与关节坐标位置关系矩阵；根据每一帧图像的人物关节与关节坐标位置关系矩阵计算关节夹角的角度，根据关节夹角的角度将当前帧图像映射到预先设定活动状态中最接近的一个状态作为肢体训练特征。
所述关节夹角是指：在头部位置预先设定一个点为头部节点，在颈部位置预先设定一个点为颈部节点，在右肩关节位置预先设定一个点为右肩关节点，在左肩关节位置预先设定一个点为左肩关节点，在右胳膊肘位置预先设定一个点为右肘关节点，在左胳膊肘位置预先设定一个点为左肘关节点，在右手位置预先设定一个点为右手关节点，在左手位置预先设定一个点为左手关节点；
第一个夹角是指：头部节点与颈部节点连线和颈部节点与右肩关节点连线之间的夹角α H；
第二个夹角是指：颈部节点与右肩关节点连线和右肩关节点与右肘关节点连线之间的身体内侧夹角α RS；
第三个夹角是指：右肩关节点与右肘关节点连线和右肘关节点与右手关节点连线之间的身体内侧夹角α RE；
第四个夹角是指：颈部节点与左肩关节点连线和左肩关节点与左肘关节点连线之间的身体内侧夹角α LS；
第五个夹角是指：左肩关节点与左肘关节点连线和左肘关节点与左手关节点连线之间的身体内侧夹角α LE；
预先设定活动状态，包括：第一个夹角设置m个状态，第二个夹角设置n个状态，第三 个夹角设置o个状态，第四个夹角设置p个状态，第五个夹角设置q个状态；根据各个夹角的状态的组合，将人物姿态划分为m*n*o*p*q个状态。
例如：第一个夹角设置三个状态：
α H∈[60°,90°,120°]；
例如：第二个夹角设置四个状态：
α RS∈[60°,112.5°,157.5°,210°]；
例如：第三个夹角设置五个状态：
α RE∈[90°,135°,180°,225°,270°]；
例如：第四个夹角设置四个状态：
α LS∈[60°,112.5°,157.5°,210°]；
例如：第五个夹角设置五个状态：
α LE∈[90°,135°,180°,225°,270°]。
这里将人物状态划分为1200种状态。
所述肢体包括上肢和头部。
作为本发明的进一步改进，所述双层循环神经网络模型包括两个嵌套组合循环神经网络：第一循环神经网络和第二循环神经网络；第二循环神经网络在第一循环神经网络内部；第一循环神经网络包括第一编码器和第一解码器；第二循环神经网络包括第二编码器和第二解码器；第一编码器、第二编码器、第二解码器和第一解码器依次串联；第一编码器的输入值为音频训练特征，第一编码器的输出值输入到第二编码器中，第二编码器的输出值输入到第二解码器中，第二解码器的输出值输入到第一解码器中，第一解码器的输出值为肢体训练特征；
作为本发明的进一步改进，所述步骤(2)中，将将音频训练特征作为双层循环神经网络模型的输入值，将肢体训练特征作为双层循环神经网络模型的输出值，对已构建的双层循环神经网络模型进行训练，得到训练好的双层循环神经网络模型，步骤为：
步骤(201)：根据声音强度将音频信号划分为若干个声音行为，划分过程中将声音强度超过设定阈值的连续音频信号视为一个声音行为，将声音强度未超过设定阈值的连续音频信号视为一个声音行为，每个声音行为包括若干个语音区间，每个语音区间都有对应的音频训练特征；将每个声音行为对应的音频训练特征输入到第一编码器中，第一编码器输出每个音频训练特征的隐藏层状态；
第一编码器输出每个音频训练特征的隐藏层状态：
Figure PCTCN2018122942-appb-000002
其中，x i,u代表第i个声音行为的第u个语音区间，h i,u指对x i,u编码所得的隐藏层状态，特别的，记最终的隐藏层状态
Figure PCTCN2018122942-appb-000003
为h i。
Figure PCTCN2018122942-appb-000004
是第一编码器；N i为第i个声音行为所具有的语音区间个数。
步骤(202)：对于第一编码器输出的每个音频训练特征的隐藏层状态，采用第二编码器进行编码，得到第二编码器的编码结果：
Figure PCTCN2018122942-appb-000005
其中
Figure PCTCN2018122942-appb-000006
表示每个声音行为的隐藏层状态，l 0＝0，d h为隐藏层状态的向量空间的维度。第二编码器的最终编码结果
Figure PCTCN2018122942-appb-000007
记为c。
步骤(203)：将每个声音行为对应的肢体训练特征集合视为肢体动作行为；将第二编码器每次输出的隐藏层状态作为与声音行为对应的肢体动作行为的隐藏层状态；
步骤(203)第二解码器解码输出隐表达o i的条件概率P(o i|f i-1,)表示为：
Figure PCTCN2018122942-appb-000008
其中f i-1为第二解码器的最后一个隐藏层状态输出，当i＝1时，f i-1设置为0，o 1…o i-1为之前所有第二解码器解码得到的肢体动作行为的隐表达，c为所有声音行为的隐藏层状态。
步骤(204)：将每一帧图像的肢体训练特征视为肢体动作单元，在得到每个肢体动作行为的隐表达之后，构建肢体动作行为与肢体动作行为包含的每一帧图像的关系，并通过第一解码器将肢体动作单元的隐表达解码为每个语音区间对应的帧的肢体动作特征的预测，选取概率最大的肢体动作作为预测的肢体动作；
步骤(204)预测的概率P(f i,j|g i,j,o i)计算如下，
Figure PCTCN2018122942-appb-000009
其中f i,j表示x i,j所对应的预测值,g i,j表示x i,j所对应的真实值，o i为解码出的肢体动作行为的隐表达；
步骤(205)：利用损失函数计算预测的肢体动作特征与肢体训练特征之间的损失值，如果损失值在设定范围内，则表示双层循环神经网络模型训练合格，进入步骤(3)；否则表示双层循环神经网络模型训练不合格，调整双层循环神经网络模型的参数后，返回步骤(201)继续训练，直至损失值在设定范围内，结束。
调整双层循环神经网络模型的参数，例如：GRU函数中的W z,W r,W h，U z,U r,U h，以及b z,b r,b h。
作为本发明的进一步改进，所述步骤(3)中，从待推荐肢体动作的音频中提取音频测试特征，步骤为：
对待测试音频信号划分为长度为
Figure PCTCN2018122942-appb-000010
秒的语音区间，其中framerate为每秒的帧数；对每个语音区间提取声音强度特征；将待测试音频信号转为文本，对文本进行分类得到感情类别特征；将声音强度特征和感情类别特征进行特征融合作为音频测试特征。
作为本发明的进一步改进，所述步骤(4)中，根据声音强度将音频信号划分为若干个声音行为，划分过程中将声音强度超过设定阈值的连续音频信号视为一个声音行为，将声音强度未超过设定阈值的连续音频信号视为一个声音行为，每个声音行为包括若干个语音区间，每个语音区间都有对应的音频测试特征；将每个声音行为对应的音频测试特征输入到训练好的双层循环神经网络模型中，输出推荐的肢体测试特征，对肢体测试特征进行展示。
本发明的第二方面，提供了基于深度学习的人际交互肢体语言自动生成系统；
基于深度学习的人际交互肢体语言自动生成系统，包括：
存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。
本发明的第三方面，提供了一种计算机可读存储介质；
一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明能够利用数据分析方法以及人工智能技术为演讲者提供更为准确的肢体动作指导，使其能够与演讲内容深度结合，更好的表达交流内容，提高人际沟通的效率。
2、相比现有技术给出评分和各种统计信息的方式，本发明能给出更直观的建议。
3、设计了一个分层网络结构。一方面，网络结构中的单元层通过对声音行为和肢体动作内部连续的语音区间同时进行编码，保证了动作流的连续性。另一方面，网络结构中的序列层对不同的声音行为所产生的肢体动为以及不同肢体动作之间的概率转移关系进行建模，保证了肢体动作的完整性和丰富性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实 施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明的流程图；
图2(a)和图2(b)为肢体动作提取效果图；
图3为模型流程图；
图4为编码器部分示意图；
图5为解码器部分示意图；
图6为声音行为检测示意图；
图7(a)～图7(d)为关节角度示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明第一个实施例，提供了基于深度学习的人际交互肢体语言自动生成方法；
如图1所示，基于深度学习的人际交互肢体语言自动生成方法，包括：
步骤(1)：从演讲视频中提取每一帧图像所对应时间范围内人物的音频训练特征；同时，从演讲视频中提取每一帧图像内人物的肢体训练特征，建立音频训练特征与肢体训练特征之间的的一一对应关系；
作为本发明的进一步改进，所述从演讲视频中提取每一帧图像所对应时间范围内人物的音频训练特征；是指：
将演讲视频的音频信号均匀划分为长度为
Figure PCTCN2018122942-appb-000011
秒的语音区间，其中framerate为每秒的帧数；对每个语音区间提取声音强度特征，通过音频信号转为文本，对文本进行分类得到感情类别特征；将声音强度特征和感情类别特征进行特征融合作为音频训练特征。
作为本发明的进一步改进，所述从演讲视频中提取每一帧图像内人物的肢体训练特征；是指：
将演讲视频的视频信号以帧为单位划分为若干帧图像，对每一帧图像使用肢体语言识别 系统OpenPose检测出图像中人物各关节点坐标位置，对各关节点坐标位置进行归一化后，得到每一帧图像的人物关节与关节坐标位置关系矩阵；根据每一帧图像的人物关节与关节坐标位置关系矩阵计算关节夹角的角度，根据关节夹角的角度将当前帧图像映射到预先设定活动状态中最接近的一个状态作为肢体训练特征。
所述关节夹角是指：在头部位置预先设定一个点为头部节点，在颈部位置预先设定一个点为颈部节点，在右肩关节位置预先设定一个点为右肩关节点，在左肩关节位置预先设定一个点为左肩关节点，在右胳膊肘位置预先设定一个点为右肘关节点，在左胳膊肘位置预先设定一个点为左肘关节点，在右手位置预先设定一个点为右手关节点，在左手位置预先设定一个点为左手关节点；
第一个夹角是指：头部节点与颈部节点连线和颈部节点与右肩关节点连线之间的夹角α H；
第二个夹角是指：颈部节点与右肩关节点连线和右肩关节点与右肘关节点连线之间的身体内侧夹角α RS；
第三个夹角是指：右肩关节点与右肘关节点连线和右肘关节点与右手关节点连线之间的身体内侧夹角α RE；
第四个夹角是指：颈部节点与左肩关节点连线和左肩关节点与左肘关节点连线之间的身体内侧夹角α LS；
第五个夹角是指：左肩关节点与左肘关节点连线和左肘关节点与左手关节点连线之间的身体内侧夹角α LE；
预先设定活动状态，包括：第一个夹角设置m个状态，第二个夹角设置n个状态，第三个夹角设置o个状态，第四个夹角设置p个状态，第五个夹角设置q个状态；根据各个夹角的状态的组合，将人物姿态划分为m*n*o*p*q个状态。
如图7(a)～图7(d)所示。例如：第一个夹角设置三个状态：
α H∈[60°,90°,120°]；
例如：第二个夹角设置四个状态：
α RS∈[60°,112.5°,157.5°,210°]；
例如：第三个夹角设置五个状态：
α RE∈[90°,135°,180°,225°,270°]；
例如：第四个夹角设置四个状态：
α LS∈[60°,112.5°,157.5°,210°]；
例如：第五个夹角设置五个状态：
α LE∈[90°,135°,180°,225°,270°]。
这里将人物状态划分为1200种状态。
所述肢体包括上肢和头部。
步骤(2)：构建双层循环神经网络模型；将音频训练特征作为双层循环神经网络模型的输入值，将肢体训练特征作为双层循环神经网络模型的输出值，对已构建的双层循环神经网络模型进行训练，得到训练好的双层循环神经网络模型；
作为本发明的进一步改进，所述双层循环神经网络模型包括两个嵌套组合循环神经网络：第一循环神经网络和第二循环神经网络；第二循环神经网络在第一循环神经网络内部；第一循环神经网络包括第一编码器和第一解码器；第二循环神经网络包括第二编码器和第二解码器；第一编码器、第二编码器、第二解码器和第一解码器依次串联；第一编码器的输入值为音频训练特征，第一编码器的输出值输入到第二编码器中，第二编码器的输出值输入到第二解码器中，第二解码器的输出值输入到第一解码器中，第一解码器的输出值为肢体训练特征；
作为本发明的进一步改进，所述步骤(2)中，将将音频训练特征作为双层循环神经网络模型的输入值，将肢体训练特征作为双层循环神经网络模型的输出值，对已构建的双层循环神经网络模型进行训练，得到训练好的双层循环神经网络模型，步骤为：
步骤(201)：根据声音强度将音频信号划分为若干个声音行为，划分过程中将声音强度超过设定阈值的连续音频信号视为一个声音行为，将声音强度未超过设定阈值的连续音频信号视为一个声音行为，每个声音行为包括若干个语音区间，每个语音区间都有对应的音频训练特征；将每个声音行为对应的音频训练特征输入到第一编码器中，第一编码器输出每个音频训练特征的隐藏层状态；
第一编码器输出每个音频训练特征的隐藏层状态：
Figure PCTCN2018122942-appb-000012
其中，x i,u代表第i个声音行为的第u个语音区间，h i,u指对x i,u编码所得的隐藏层状态，特别的，记最终的隐藏层状态
Figure PCTCN2018122942-appb-000013
为h i。
Figure PCTCN2018122942-appb-000014
是第一编码器；N i为第i个声音行为所具有的语音区间个数。
步骤(202)：对于第一编码器输出的每个音频训练特征的隐藏层状态，采用第二编码器进行编码，得到第二编码器的编码结果：
Figure PCTCN2018122942-appb-000015
其中
Figure PCTCN2018122942-appb-000016
表示每个声音行为的隐藏层状态，l 0＝0，d h为隐藏层状态的向量空间的 维度。第二编码器的最终编码结果
Figure PCTCN2018122942-appb-000017
记为c。
步骤(203)：将每个声音行为对应的肢体训练特征集合视为肢体动作行为；将第二编码器每次输出的隐藏层状态作为与声音行为对应的肢体动作行为的隐藏层状态，第二解码器解码输出隐表达o i的条件概率P(o i|f i-1,c)表示为：
Figure PCTCN2018122942-appb-000018
其中f i-1为第二解码器的最后一个隐藏层状态输出，当i＝1时，f i-1设置为0，o 1…o i-1为之前所有第二解码器解码得到的肢体动作行为的隐表达，c为所有声音行为的隐藏层状态。
步骤(204)：将每一帧图像的肢体训练特征视为肢体动作单元，在得到每个肢体动作行为的隐表达之后，构建肢体动作行为与肢体动作行为包含的每一帧图像的关系，并通过第一解码器将肢体动作单元的隐表达解码为每个语音区间对应的帧的肢体动作特征的预测，选取概率最大的肢体动作作为预测的肢体动作；
预测的概率P(f i,j|g i,j,o i)计算如下，
Figure PCTCN2018122942-appb-000019
其中f i,j表示x i,j所对应的预测值,g i,j表示x i,j所对应的真实值，o i为解码出的肢体动作行为的隐表达；步骤(205)：利用损失函数计算预测的肢体动作特征与肢体训练特征之间的损失值，如果损失值在设定范围内，则表示双层循环神经网络模型训练合格，进入步骤(3)；否则表示双层循环神经网络模型训练不合格，调整双层循环神经网络模型的参数后，返回步骤(201)继续训练，直至损失值在设定范围内结束。
调整双层循环神经网络模型的参数，例如：GRU函数中的W z,W r,W h，U z,U r,U h，以及b z,b r,b h。
步骤(3)：从待推荐肢体动作的音频中提取音频测试特征；
作为本发明的进一步改进，所述步骤(3)中，从待推荐肢体动作的音频中提取音频测试特征，步骤为：
对待测试音频信号划分为长度为
Figure PCTCN2018122942-appb-000020
秒的语音区间，其中framerate为每秒的帧数；对每个语音区间提取声音强度特征或声音频率特征；将待测试音频信号转为文本，对文本进行分类得到感情类别特征；将声音强度特征和感情类别特征进行特征融合作为音频测试特征；
步骤(4)：将音频测试特征输入到训练好的双层循环神经网络模型中，输出推荐的肢体测试特征。
根据声音强度将音频信号划分为若干个声音行为，划分过程中将声音强度超过设定阈值的连续音频信号视为一个声音行为，将声音强度未超过设定阈值的连续音频信号视为一个声音行为，每个声音行为包括若干个语音区间，每个语音区间都有对应的音频测试特征；将每个声音行为对应的音频测试特征输入到训练好的双层循环神经网络模型中，输出推荐的肢体测试特征，对肢体测试特征进行展示。
本发明的第二个实施例，提供了基于深度学习的人际交互肢体语言自动生成系统；
基于深度学习的人际交互肢体语言自动生成系统，包括：
存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。
本发明的第三个实施例，提供了一种计算机可读存储介质；
一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。
本发明提出了一个双层循环编码器-解码器网络来编码语音和手势序列之间的关系以及手势层次结构。最后，当给定语音输入时，用学习出来的网络模型将生成适当的手势，并进行可视化以获得更有效的肢体语言推荐。
本发明一方面构建了大规模的数据库，且不需要人工标注，能在大量的数据中学习到更为准确的概率模型。另一方面，提出了用于分析语音和肢体语言之间关系的分层模型，能更好的模拟人在演讲时的状态。最后，我们将由音频生成的肢体动作可视化，直接展示给用户生成的结果。
在语言交流中，语言被认为是离散单元的有序组织，肢体语言也是如此。我们首先将模型的输入和输出，即音频和肢体动作离散化。通过对语音本身以及各种特征离散化为等长的单元作为语音的语音区间，对视频则将每一帧的肢体特征(见图2(a)和图2(b))作为一个动作语音区间。语音和视频的语音区间在时间轴上是一一对应的。在语义层面，我们将声音(动作)语音区间聚合为完整的声音(肢体动作)，并分析完整的动作之间的概率转移关系。我们通过构建双层循环神经网络，对语音和动作在分别底层和语义层面分析建模，并建立输入和输出之间的映射关系，整个流程如图3所示。一方面我们保证了整个肢体动作的流畅性，另一方面我们确保了手势和手势之间根据输入音频的合理变换。
1.基于语言结构模型的双层循环编码-解码网络包括：单元层面的编码、解码器，以及序列层面的编码、解码器。
我们定义x为视频中提取的语音特征集合，y为视频中检测到的肢体的特征集合。
第一编码器：
为了将数量不同的语音区间分组并统一为等长的声音行为的表示，例如某一个声音行为包含5个语音区间，而另一段较长的声音行为由10个语音区间组成，我们要对这些语音区间进行编码，使用统一长度的表示方法。具体的，我们使用第一编码器进行编码：
Figure PCTCN2018122942-appb-000021
其中x i,u代表第i个声音行为的第u个语音区间，N i为第i个声音行为所具有的语音区间个数。h i,u指对x i,u编码所得的隐藏状态，
Figure PCTCN2018122942-appb-000022
是编码函数.。对于GRU函数，具体的，有：
z t＝σ g(W zx t+U zh t-1+b z),
r t＝σ g(W rx t+U rh t-1+b r),
Figure PCTCN2018122942-appb-000023
Figure PCTCN2018122942-appb-000024
其中σ g为sigmoid函数，σ h为tanh函数。且有
Figure PCTCN2018122942-appb-000025
以及
Figure PCTCN2018122942-appb-000026
我们使用矩阵W来编码输入x，并以h t作为输出的隐藏层状态。
最终，我们取每个声音行为输出的最后一个隐藏层状态作为整个声音行为的表示。此隐藏层状态包含了之前所有输入的信息，可以作为整个声音行为的所有语音区间的语义编码。
第二编码器：
当我们使用离散化的基本音频特征单元将不等长的声音行为表达为等长的特征表示q i之后，我们得到了语义层面上的声音行为(如升高音调，语速加快等)的特征表示序列。对于这个序列，我们要建立不同的声音行为在大量数据下的概率转移关系。于是我们建立了第二层循环神经网络模型，用于对声音行为序列编码并得到整个序列的特定表示，
Figure PCTCN2018122942-appb-000027
其中
Figure PCTCN2018122942-appb-000028
表示每个声音行为的隐层表达，特殊的，l 0＝0，d h为隐表达的向量空间的维度。整个编码过程如图4所示。
第二解码器：
当我们得到包含整个声音序列的编码信息的中间表示之后，便要建立声音行为和肢体语言的生成关系。对于整个声音序列的中间隐藏层状态c，我们按照与声音行为的时间区间相同的时间划分方式，将输出y分组，表示为与声音行为相对应的肢体动作行为，构建与第二编码器对应的解码器，并使解码器每次的输出隐藏层状态作为与此声音行为对应的肢体动作行为的隐表达，其概率表示为：
Figure PCTCN2018122942-appb-000029
其中f i-1为前一个第一解码器的最后一个隐藏层状态输出，特别的，当i＝1时，f i-1设置为GO_ID＝0，o i为之前所有解码得到的肢体动作行为的隐表达，c为所有语音行为的中间隐变量。根据这一概率公式，我们便可以使用第二解码器解码出我们想要得到的肢体动作行为的隐表达。
第一解码器：
类似的，得到每个肢体动作行为的隐表达之后，我们便可以构建肢体动作行为与其包含的每一帧的生成关系，并通过单元层解码将肢体动作单元的隐表达解码为每个语音区间对应的帧，具体对应的概率计算如下，
Figure PCTCN2018122942-appb-000030
其中f i,j,g i,j分别表示x i,j所对应的预测值和真实值，o i为输入的肢体动作行为的隐表达，整个解码过程如图5所示。
2.模型训练
我们使用交叉熵来作为网络训练的损失函数，并通过梯度下降和反向传播来更新四个GRU函数，包括
Figure PCTCN2018122942-appb-000031
内的参数。其损失函数定义如下：
Figure PCTCN2018122942-appb-000032
其中N f为语音(肢体动作)语音区间的个数。
如图6所示，阴影的边界将声音序列划分为若干个声音行为。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

  1. 基于深度学习的人际交互肢体语言自动生成方法，其特征是，包括：
    步骤(1)：从演讲视频中提取每一帧图像所对应时间范围内人物的音频训练特征；同时，从演讲视频中提取每一帧图像内人物的肢体训练特征，建立音频训练特征与肢体训练特征之间的的一一对应关系；
    步骤(2)：构建双层循环神经网络模型；将音频训练特征作为双层循环神经网络模型的输入值，将肢体训练特征作为双层循环神经网络模型的输出值，对已构建的双层循环神经网络模型进行训练，得到训练好的双层循环神经网络模型；
    步骤(3)：从待推荐肢体动作的音频中提取音频测试特征；
    步骤(4)：将音频测试特征输入到训练好的双层循环神经网络模型中，输出推荐的肢体测试特征。
  2. 如权利要求1所述的基于深度学习的人际交互肢体语言自动生成方法，其特征是，
    所述从演讲视频中提取每一帧图像所对应时间范围内人物的音频训练特征；是指：
    将演讲视频的音频信号均匀划分为长度为
    Figure PCTCN2018122942-appb-100001
    秒的语音区间，其中framerate为每秒的帧数；对每个语音区间提取声音强度特征，通过音频信号转为文本，对文本进行分类得到感情类别特征；将声音强度特征和感情类别特征进行特征融合作为音频训练特征。
  3. 如权利要求1所述的基于深度学习的人际交互肢体语言自动生成方法，其特征是，
    所述从演讲视频中提取每一帧图像内人物的肢体训练特征；是指：
    将演讲视频的视频信号以帧为单位划分为若干帧图像，对每一帧图像使用肢体语言识别系统OpenPose检测出图像中人物各关节点坐标位置，对各关节点坐标位置进行归一化后，得到每一帧图像的人物关节与关节坐标位置关系矩阵；根据每一帧图像的人物关节与关节坐标位置关系矩阵计算关节夹角的角度，根据关节夹角的角度将当前帧图像映射到预先设定活动状态中最接近的一个状态作为肢体训练特征。
  4. 如权利要求3所述的基于深度学习的人际交互肢体语言自动生成方法，其特征是，
    所述关节夹角是指：在头部位置预先设定一个点为头部节点，在颈部位置预先设定一个点为颈部节点，在右肩关节位置预先设定一个点为右肩关节点，在左肩关节位置预先设定一个点为左肩关节点，在右胳膊肘位置预先设定一个点为右肘关节点，在左胳膊肘位置预先设定一个点为左肘关节点，在右手位置预先设定一个点为右手关节点，在左手位置预先设定一个点为左手关节点；
    第一个夹角是指：头部节点与颈部节点连线和颈部节点与右肩关节点连线之间的夹角α H；
    第二个夹角是指：颈部节点与右肩关节点连线和右肩关节点与右肘关节点连线之间的身体内侧夹角α RS；
    第三个夹角是指：右肩关节点与右肘关节点连线和右肘关节点与右手关节点连线之间的身体内侧夹角α RE；
    第四个夹角是指：颈部节点与左肩关节点连线和左肩关节点与左肘关节点连线之间的身体内侧夹角α LS；
    第五个夹角是指：左肩关节点与左肘关节点连线和左肘关节点与左手关节点连线之间的身体内侧夹角α LE；
    预先设定活动状态，包括：第一个夹角设置m个状态，第二个夹角设置n个状态，第三个夹角设置o个状态，第四个夹角设置p个状态，第五个夹角设置q个状态；根据各个夹角的状态的组合，将人物姿态划分为m*n*o*p*q个状态。
  5. 如权利要求1所述的基于深度学习的人际交互肢体语言自动生成方法，其特征是，
    所述双层循环神经网络模型包括两个嵌套组合循环神经网络：第一循环神经网络和第二循环神经网络；第二循环神经网络在第一循环神经网络内部；第一循环神经网络包括第一编码器和第一解码器；第二循环神经网络包括第二编码器和第二解码器；第一编码器、第二编码器、第二解码器和第一解码器依次串联；第一编码器的输入值为音频训练特征，第一编码器的输出值输入到第二编码器中，第二编码器的输出值输入到第二解码器中，第二解码器的输出值输入到第一解码器中，第一解码器的输出值为肢体训练特征。
  6. 如权利要求1所述的基于深度学习的人际交互肢体语言自动生成方法，其特征是，
    所述步骤(2)中，将将音频训练特征作为双层循环神经网络模型的输入值，将肢体训练特征作为双层循环神经网络模型的输出值，对已构建的双层循环神经网络模型进行训练，得到训练好的双层循环神经网络模型，步骤为：
    步骤(201)：根据声音强度将音频信号划分为若干个声音行为，划分过程中将声音强度超过设定阈值的连续音频信号视为一个声音行为，将声音强度未超过设定阈值的连续音频信号视为一个声音行为，每个声音行为包括若干个语音区间，每个语音区间都有对应的音频训练特征；将每个声音行为对应的音频训练特征输入到第一编码器中，第一编码器输出每个音频训练特征的隐藏层状态；
    步骤(203)：将每个声音行为对应的肢体训练特征集合视为肢体动作行为；将第二编码器每次输出的隐藏层状态作为与声音行为对应的肢体动作行为的隐藏层状态；
    步骤(204)：将每一帧图像的肢体训练特征视为肢体动作单元，在得到每个肢体动作行 为的隐表达之后，构建肢体动作行为与肢体动作行为包含的每一帧图像的关系，并通过第一解码器将肢体动作单元的隐表达解码为每个语音区间对应的帧的肢体动作特征的预测，选取概率最大的肢体动作作为预测的肢体动作；
    步骤(205)：利用损失函数计算预测的肢体动作特征与肢体训练特征之间的损失值，如果损失值在设定范围内，则表示双层循环神经网络模型训练合格，进入步骤(3)；否则表示双层循环神经网络模型训练不合格，调整双层循环神经网络模型的参数后，返回步骤(201)继续训练，直至损失值在设定范围内，结束。
  7. 如权利要求1所述的基于深度学习的人际交互肢体语言自动生成方法，其特征是，
    所述步骤(3)中，从待推荐肢体动作的音频中提取音频测试特征，步骤为：
    对待测试音频信号划分为长度为
    Figure PCTCN2018122942-appb-100002
    秒的语音区间，其中framerate为每秒的帧数；对每个语音区间提取声音强度特征；将待测试音频信号转为文本，对文本进行分类得到感情类别特征；将声音强度特征和感情类别特征进行特征融合作为音频测试特征。
  8. 如权利要求1所述的基于深度学习的人际交互肢体语言自动生成方法，其特征是，
    所述步骤(4)中，根据声音强度将音频信号划分为若干个声音行为，划分过程中将声音强度超过设定阈值的连续音频信号视为一个声音行为，将声音强度未超过设定阈值的连续音频信号视为一个声音行为，每个声音行为包括若干个语音区间，每个语音区间都有对应的音频测试特征；将每个声音行为对应的音频测试特征输入到训练好的双层循环神经网络模型中，输出推荐的肢体测试特征，对肢体测试特征进行展示。
  9. 基于深度学习的人际交互肢体语言自动生成系统，其特征是，包括：
    存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-8任一方法所述的步骤。
  10. 一种计算机可读存储介质，其特征是，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-8任一方法所述的步骤。
PCT/CN2018/122942 2018-06-15 2018-12-22 基于深度学习的人际交互肢体语言自动生成方法及系统 Ceased WO2019237708A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810623961.6A CN108921284B (zh) 2018-06-15 2018-06-15 基于深度学习的人际交互肢体语言自动生成方法及系统
CN201810623961.6 2018-06-15

Publications (1)

Publication Number Publication Date
WO2019237708A1 true WO2019237708A1 (zh) 2019-12-19

Family

ID=64421760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/122942 Ceased WO2019237708A1 (zh) 2018-06-15 2018-12-22 基于深度学习的人际交互肢体语言自动生成方法及系统

Country Status (2)

Country Link
CN (1) CN108921284B (zh)
WO (1) WO2019237708A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112735472A (zh) * 2020-12-25 2021-04-30 航天科工深圳（集团）有限公司 音视频旋律动作自生成方法及装置
CN112720527A (zh) * 2020-12-25 2021-04-30 航天科工深圳（集团）有限公司 音乐舞蹈自编程机器人
CN113312966A (zh) * 2021-04-21 2021-08-27 广东工业大学 一种基于第一人称视角的动作识别方法及装置
CN114187544A (zh) * 2021-11-30 2022-03-15 厦门大学 大学英语演讲多模态自动评分方法
CN114492545A (zh) * 2020-10-27 2022-05-13 南京中芯声学技术研究院 一种声光融合数据交互方法
CN114840763A (zh) * 2022-05-23 2022-08-02 山东大学 基于用户偏好的对话式推荐方法及系统
CN114972923A (zh) * 2022-06-06 2022-08-30 中国人民解放军国防科技大学 基于自监督学习的虚拟数字人肢体交互动作生成方法
CN115312028A (zh) * 2022-08-05 2022-11-08 科大讯飞股份有限公司 语音识别方法、装置、计算机可读存储介质及计算机设备
CN115588429A (zh) * 2022-09-23 2023-01-10 阿里巴巴达摩院(杭州)科技有限公司 语音识别的纠错方法及装置
CN115966016A (zh) * 2022-12-19 2023-04-14 天翼爱音乐文化科技有限公司 一种跳跃状态识别方法、系统、电子设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921284B (zh) * 2018-06-15 2020-11-17 山东大学 基于深度学习的人际交互肢体语言自动生成方法及系统
CN109858457A (zh) * 2019-02-18 2019-06-07 齐鲁工业大学 基于OpenPose的作弊动作辅助识别方法及系统
CN110135697A (zh) * 2019-04-15 2019-08-16 平安科技（深圳）有限公司 情感训练方法、装置、计算机设备和存储介质
CN110634491B (zh) * 2019-10-23 2022-02-01 大连东软信息学院 语音信号中针对通用语音任务的串联特征提取系统及方法
CN111080752B (zh) * 2019-12-13 2023-08-22 北京达佳互联信息技术有限公司 基于音频的动作序列生成方法、装置以及电子设备
CN111711868B (zh) * 2020-06-24 2021-07-20 中国科学院自动化研究所 基于视听多模态的舞蹈生成方法、系统、装置
CN112232127A (zh) * 2020-09-14 2021-01-15 辽宁对外经贸学院 一种智能演讲训练系统及方法
CN112329593A (zh) * 2020-11-03 2021-02-05 北京中科深智科技有限公司 一种基于风格化的手势生成方法及生成系统
EP4252643A1 (en) * 2022-03-29 2023-10-04 Emotion Comparator Systems Sweden AB A system and method for interpretation of human interpersonal interaction
CN116168686B (zh) * 2023-04-23 2023-07-11 碳丝路文化传播(成都)有限公司 数字人动态拟真方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182772A (zh) * 2014-08-19 2014-12-03 大连理工大学 一种基于深度学习的手势识别方法
CN104484656A (zh) * 2014-12-26 2015-04-01 安徽寰智信息科技股份有限公司 基于深度学习的唇语识别唇形模型库构建方法
CN105957531A (zh) * 2016-04-25 2016-09-21 上海交通大学 基于云平台的演讲内容提取方法及装置
CN106991372A (zh) * 2017-03-02 2017-07-28 北京工业大学 一种基于混合深度学习模型的动态手势识别方法
CN108921284A (zh) * 2018-06-15 2018-11-30 山东大学 基于深度学习的人际交互肢体语言自动生成方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776692B2 (en) * 2015-07-24 2020-09-15 Deepmind Technologies Limited Continuous control with deep reinforcement learning
CN107784355A (zh) * 2017-10-26 2018-03-09 北京光年无限科技有限公司 虚拟人多模态交互数据处理方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182772A (zh) * 2014-08-19 2014-12-03 大连理工大学 一种基于深度学习的手势识别方法
CN104484656A (zh) * 2014-12-26 2015-04-01 安徽寰智信息科技股份有限公司 基于深度学习的唇语识别唇形模型库构建方法
CN105957531A (zh) * 2016-04-25 2016-09-21 上海交通大学 基于云平台的演讲内容提取方法及装置
CN106991372A (zh) * 2017-03-02 2017-07-28 北京工业大学 一种基于混合深度学习模型的动态手势识别方法
CN108921284A (zh) * 2018-06-15 2018-11-30 山东大学 基于深度学习的人际交互肢体语言自动生成方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114492545A (zh) * 2020-10-27 2022-05-13 南京中芯声学技术研究院 一种声光融合数据交互方法
CN114492545B (zh) * 2020-10-27 2024-10-15 南京中芯声学技术研究院 一种声光融合数据交互方法
CN112720527A (zh) * 2020-12-25 2021-04-30 航天科工深圳（集团）有限公司 音乐舞蹈自编程机器人
CN112735472A (zh) * 2020-12-25 2021-04-30 航天科工深圳（集团）有限公司 音视频旋律动作自生成方法及装置
CN112735472B (zh) * 2020-12-25 2024-04-09 航天科工深圳（集团）有限公司 音视频旋律动作自生成方法及装置
CN112720527B (zh) * 2020-12-25 2024-04-09 航天科工深圳（集团）有限公司 音乐舞蹈自编程机器人
CN113312966B (zh) * 2021-04-21 2023-08-08 广东工业大学 一种基于第一人称视角的动作识别方法及装置
CN113312966A (zh) * 2021-04-21 2021-08-27 广东工业大学 一种基于第一人称视角的动作识别方法及装置
CN114187544A (zh) * 2021-11-30 2022-03-15 厦门大学 大学英语演讲多模态自动评分方法
CN114840763A (zh) * 2022-05-23 2022-08-02 山东大学 基于用户偏好的对话式推荐方法及系统
CN114972923A (zh) * 2022-06-06 2022-08-30 中国人民解放军国防科技大学 基于自监督学习的虚拟数字人肢体交互动作生成方法
CN115312028A (zh) * 2022-08-05 2022-11-08 科大讯飞股份有限公司 语音识别方法、装置、计算机可读存储介质及计算机设备
CN115588429A (zh) * 2022-09-23 2023-01-10 阿里巴巴达摩院(杭州)科技有限公司 语音识别的纠错方法及装置
CN115966016A (zh) * 2022-12-19 2023-04-14 天翼爱音乐文化科技有限公司 一种跳跃状态识别方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN108921284B (zh) 2020-11-17
CN108921284A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108921284B (zh) 基于深度学习的人际交互肢体语言自动生成方法及系统
CN110556129B (zh) 双模态情感识别模型训练方法及双模态情感识别方法
CN115329779B (zh) 一种多人对话情感识别方法
CN107766447B (zh) 一种使用多层注意力网络机制解决视频问答的方法
CN105632251B (zh) 具有语音功能的3d虚拟教师系统及其方法
CN110148318B (zh) 一种数字助教系统、信息交互方法和信息处理方法
Hailong Role of artificial intelligence algorithm for taekwondo teaching effect evaluation model
CN108416065B (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN109271496B (zh) 一种基于文本、知识库及序列到序列的自然问答方法
CN117055724A (zh) 虚拟教学场景中生成式教学资源系统及其工作方法
CN119167308B (zh) 基于多模态数据和垂类大模型的心理咨询机器人
CN117522643B (zh) 一种口才训练方法、装置、设备及存储介质
CN107230401A (zh) 利用互联网和语音技术的写作教学交互系统以及实现方法
CN115953521B (zh) 远程数字人渲染方法、装置及系统
CN118519524A (zh) 一种面向学习障碍群体的虚拟数字人系统及方法
CN115188074A (zh) 一种互动式体育训练测评方法、装置、系统及计算机设备
Wen et al. Affective-nli: Towards accurate and interpretable personality recognition in conversation
CN111243060A (zh) 一种基于手绘图的故事性文本生成方法
CN120599155B (zh) 一种面向教学互动的数字人三维重构系统
Xu et al. Cross-task inconsistency based active learning (CTIAL) for emotion recognition
CN117093669A (zh) 数字人动作智能生成方法和数字人动作智能生成设备
CN120339476A (zh) 一种同步语音与手语展示的多模态交互方法及装置
Xing et al. P‐4.4: Applications and Prospects of Multimodal Emotion Analysis in Emotion‐Driven Virtual Worlds
CN120877390B (zh) 手语翻译方法、装置、计算机设备及存储介质
Haripriya et al. AI to Conquer Stage Fright

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18922849

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18922849

Country of ref document: EP

Kind code of ref document: A1