WO2020077858A1 - 基于神经网络的视频描述生成方法、介质、终端及装置 - Google Patents

基于神经网络的视频描述生成方法、介质、终端及装置 Download PDF

Info

Publication number
WO2020077858A1
WO2020077858A1 PCT/CN2018/124299 CN2018124299W WO2020077858A1 WO 2020077858 A1 WO2020077858 A1 WO 2020077858A1 CN 2018124299 W CN2018124299 W CN 2018124299W WO 2020077858 A1 WO2020077858 A1 WO 2020077858A1
Authority
WO
WIPO (PCT)
Prior art keywords
short
long
time
term memory
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/124299
Other languages
English (en)
French (fr)
Inventor
赵峰
杜展
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020077858A1 publication Critical patent/WO2020077858A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present application belongs to the field of computer technology, and particularly relates to a neural network-based video description generation method, a computer-readable storage medium, terminal equipment and devices.
  • the embodiments of the present application provide a neural network-based video description generation method, computer-readable storage medium, terminal device and device, to solve the problem that it takes a lot of time and low efficiency for manual video description.
  • the first aspect of the embodiments of the present application provides a neural network-based video description generation method, which may include:
  • the normalized exponential function is used to process the word vector sequence to generate a descriptive word sequence of the video.
  • a second aspect of the embodiments of the present application provides a computer-readable storage medium that stores computer-readable instructions that are executed by a processor to implement the above-described video description generation method step.
  • a third aspect of the embodiments of the present application provides a terminal device, including a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor, and the processor executes the computer When the instructions are readable, the steps of the above video description generation method are realized.
  • the fourth aspect of the embodiments of the present application provides a video description generating apparatus, which may include a module for implementing the steps of the above video description generating method.
  • the embodiment of the present application uses a neural network to replace the manual video description. Without human intervention, a large amount of video description work can be completed in a very short time, and the work efficiency is greatly improved.
  • FIG. 1 is a flowchart of an embodiment of a video description generation method in an embodiment of the present application
  • Fig. 2 is a schematic diagram of data processing performed by each neural network unit in a long-term and short-term memory network
  • FIG. 3 is a structural diagram of an embodiment of a video description generating device in an embodiment of the present application.
  • FIG. 4 is a schematic block diagram of a terminal device in an embodiment of the present application.
  • an embodiment of a method for generating a video description based on a neural network in an embodiment of the present application may include:
  • Step S101 Extract image frames of a video according to a preset frame interval, and construct each extracted image frame into a frame sequence of the video.
  • the frame interval can be set according to the actual situation, for example, it can be set to 3 frames, 5 frames, 10 frames or other values, that is, every 3 frames, 5 frames, 10 frames or other values from the video To extract an image frame.
  • the frame interval is set, the more accurate the video description result is generated, but the larger the amount of calculation will cause more system resource consumption.
  • the frame interval is set to 0, That is, extract all the image frames in the video.
  • the video description result generated at this time is the most accurate, but the calculation amount is also the largest, which will cause the most system resource consumption.
  • the larger the frame interval setting the generated video description result The rougher, but the smaller the amount of calculation, will cause less system resource consumption. In actual use, it is necessary to comprehensively consider the system resource situation and the accuracy of the results to weigh.
  • the frame sequence of the video can be constructed according to the following formula:
  • V ⁇ v 1 , v 2 , ..., v n , ..., v N ⁇
  • V is the frame sequence of the video
  • n is the sequence number of the image frames extracted from the video
  • 1 ⁇ n ⁇ N is the total number of image frames extracted from the video
  • v n is the The nth image frame extracted from the video.
  • Step S102 Calculate the feature vector of each image frame in the frame sequence separately.
  • the calculation of feature vectors is essentially a method of image representation and similarity measurement based on local feature extraction.
  • the extraction of local features is divided into two steps: extracting target key points and describing key points,
  • the positioning of key points is the basis of target recognition, which is generally the local extreme point of the grayscale change of the image, which contains significant structural information. Even these points may not have actual intuitive visual meaning, but at a certain angle
  • the scale is rich in easy-to-match information.
  • Feature point description is to establish a feature vector, and the choice of feature space determines which features of the image participate in matching.
  • the feature description of the feature point should be an invariant to various changes to ensure that it is affected by factors such as location, viewing angle, scale, and illumination to a minimum. Selecting a reasonable feature space can reduce the impact of various image changes on the speed and robustness of the matching algorithm.
  • scale space theory first appeared in the field of computer vision, and its purpose is to simulate multi-scale features of image data.
  • the main idea of scale space theory is to use the Gaussian kernel to transform the original image to obtain a multi-scale image representation.
  • the key point detection is mainly composed of image scale space generation, Gaussian difference pyramid establishment, candidate key point acquisition, key point precise positioning and screening, and key point main direction determination.
  • the generation of image scale space is mainly to generate image sequence diagrams in different scale spaces for a given two-dimensional image.
  • Gaussian difference pyramid The establishment of Gaussian difference pyramid is mainly to perform Gaussian difference (DOG) operation on the scale space image sequence, that is, the difference of adjacent Gaussian filtered images, which is mainly to find the key points with stable scale characteristics.
  • DOG Gaussian difference
  • Candidate key points are acquired mainly in the established Gaussian difference space pyramid, defining points with local maximum or local minimum in adjacent scale spaces as candidates for image key points.
  • Each pixel in the middle layer of the Gaussian difference scale space and the adjacent 8 pixels in the same layer, the adjacent 9 pixels in the previous layer and the adjacent 9 pixels in the next layer have a total of 26 adjacent pixels Point to compare. If the pixels are all larger or smaller than the Gaussian difference of 26 adjacent pixels, then this point can be used as a candidate key point.
  • the precise positioning and selection of key points is mainly because the pixel values of the Gaussian difference image are more sensitive to noise and edges. Therefore, the local extreme points detected in the Gaussian difference space should be further filtered and relocated to sub-pixel level and precision scale positions . At the same time, low-contrast feature points and unstable edge response points should be removed to enhance matching stability and improve noise resistance.
  • the main purpose of determining the main direction of key points is to ensure the invariance of rotation, and specify the direction parameters for each feature point based on the gradient direction distribution characteristics of the pixels in the neighborhood of the feature point. Sampling is performed in the neighborhood window centered on the feature point, and the gradient direction histogram is used to count the gradient direction of the neighbor pixels.
  • each feature point has three pieces of information: position, scale, and direction. Then, key point feature extraction based on the gradient direction histogram statistics can be performed.
  • the area range of feature extraction will be expanded, using a total of 16 seed points for each key point to describe, so that for a key point, 128 data can be generated, and finally 128-dimensional feature vector.
  • the length of the feature vector can be normalized.
  • Step S103 Input feature vectors of each image frame in the frame sequence into a preset neural network encoder for processing, and output a semantic vector of the frame sequence.
  • the neural network encoder performs status update according to the following formula:
  • LSTM (1) is the preset first long-short-term memory network
  • x t is the input of the first long-short-term memory network at time t
  • h t (1) is the first long-short-term memory network at time
  • the hidden layer state vector of t , h t-1 (1) is the hidden layer state vector of the first long-short-term memory network at time t-1.
  • the neural network encoder used in this embodiment is a Long Short-Term Memory (LSTM).
  • LSTM is a type of recurrent neural network and is often used in sequence-to-sequence models. It is widely used in the fields of machine translation and speech recognition.
  • each neural network unit ie, neuron
  • each neural network unit ie, neuron
  • i t is the output of the input gate at time t
  • f t is the output of the forget gate at time t
  • o t is the output of the output gate at time t
  • W xi , W hi , W xf , W hf , W xo , W ho , W xg , W hg , b i , b f , b o , b g are all preset parameters
  • sigmoid is an S-shaped growth function
  • tanh is a hyperbolic tangent function
  • the entire processing process consists of three parts: input gate processing, forgetting gate processing, and output gate processing.
  • the forget gate is the output h t-1 at the previous time and the input x t at this time as the input sigmoid function, which generates a value in [0,1] for each item in c t-1 , To control the extent to which the memory state at the previous moment is forgotten.
  • the input gate and a tanh function cooperate to control what new information is added.
  • the tanh function generates a new candidate vector g t
  • the input gate generates a value in [0,1] for each item in g t to control how much new information is added.
  • the output of the forget gate f t it is used to control the degree of being forgotten at the previous moment, and the output of the input gate i t is used to control how much new information is added, and the memory state at this moment can be updated. .
  • the output gate is used to control how much of the memory state at this moment is filtered out. First activate the memory state at this time, and the output gate generates a value in [0,1] for each of them, controlling the degree to which the memory state at this time is filtered.
  • the state structure in the structure shown in FIG. 2 caches the state information of the past time, and the historical state information is maintained through the input gate, the forget gate, and the output gate, thereby realizing the effective caching of long-distance historical state information .
  • the output is a fixed-length vector, that is, the semantic vector of the frame sequence.
  • Step S104 Input the semantic vector of the frame sequence into a preset neural network decoder for processing, and generate a word vector sequence of the frame sequence.
  • the neural network decoder can update the status according to the following formula:
  • LSTM (2) is a preset second long-short-term memory network
  • w t-1 is a word vector generated by the second long-short-term memory network at time t-1
  • Is a vector formed by combining the word vector generated by the second long-short-term memory network at time t-1 and the hidden layer state vector of the first long-short-term memory network at time t
  • h t (2) is the first
  • h t-1 (2) is the hidden layer state vector of the second long-short-term memory network at time t-1.
  • the neural network decoder used in this embodiment is also a long-short-term memory network, that is, two LSTM networks are used in this embodiment to generate video descriptions, which are respectively the first long-short-term memory network and neural network encoder.
  • the second long-short-term memory network of the neural network decoder the data processing mode of each neural network unit in the second long-short-term memory network and the second long-short-term memory network is similar. The description of the short-term memory network will not be repeated here.
  • a time attention mechanism can also be introduced on this basis, that is, the neural network decoder can update the state according to the following formula:
  • c t is the attention vector used by the second long-short-term memory network at time t.
  • the attention vector can be calculated according to the following formula:
  • one function can be selected from the four functions in the following function set as the alignment function:
  • W a and W b are preset coefficients.
  • Step S105 Use a normalized index function to process the word vector sequence to generate a descriptive word sequence of the video.
  • word vector sequence can be processed according to the following formula:
  • softmax is the normalized exponential function
  • Ws and bs are preset coefficients
  • w 1 , w 2 , ..., w t-1 ) corresponds to the word vector at time t
  • the probability of each word, the word with the highest probability value among these words is the description word at time t, and the description words sequence of the video can be generated by combining these description words together.
  • the embodiments of the present application use a neural network instead of manual video description, and can complete massive video description work in a very short time without human intervention, and the work efficiency has been greatly improved.
  • FIG. 3 shows a structural diagram of an embodiment of a video description generating apparatus provided in an embodiment of the present application.
  • a video description generating device may include:
  • the frame sequence construction module 301 is used to extract the image frames of the video according to a preset frame interval, and construct each extracted image frame into the frame sequence of the video;
  • the feature vector calculation module 302 is used to calculate feature vectors of each image frame in the frame sequence separately;
  • the encoder processing module 303 is used to sequentially input the feature vectors of each image frame in the frame sequence into a preset neural network encoder for processing, and output the semantic vector of the frame sequence;
  • the decoder processing module 304 is configured to input the semantic vector of the frame sequence into a preset neural network decoder for processing to generate a word vector sequence of the frame sequence;
  • the description word sequence generation module 305 is configured to process the word vector sequence using a normalized index function to generate a description word sequence of the video.
  • the video description generating device may further include a first update module, configured to update the state of the neural network encoder according to the following formula:
  • LSTM (1) is the preset first long-short-term memory network
  • x t is the input of the first long-short-term memory network at time t
  • h t (1) is the first long-short-term memory network at time t hidden layer state vector
  • h t-1 (1) is the hidden layer state vector of the first long-short-term memory network at time t-1;
  • the video description generating device may further include a second update module, configured to update the state of the neural network decoder according to the following formula:
  • LSTM (2) is a preset second long-short-term memory network
  • w t-1 is a word vector generated by the second long-short-term memory network at time t-1
  • Is a vector formed by combining the word vector generated by the second long-short-term memory network at time t-1 and the hidden layer state vector of the first long-short-term memory network at time t
  • c t is the second long-short-term Attention vector used by the memory network at time t
  • h t (2) is the hidden layer state vector of the second long-short-term memory network at time t
  • h t-1 (2) is the second long-short-term memory network Hidden layer state vector at time t-1.
  • the video description generating apparatus may further include an attention vector calculation module for calculating the attention vector according to the following formula:
  • the video description generating device may further include an alignment function selection module, configured to select a function from the following function set as the alignment function:
  • W a and W b are predetermined coefficients.
  • the video description generating device may further include a data processing module for each neural network unit in the first long-short-term memory network and the second long-short-term memory network to perform data processing according to the following formula:
  • i t is the output of the input gate at time t
  • f t is the output of the forget gate at time t
  • o t is the output of the output gate at time t
  • W xi , W hi , W xf , W hf , W xo , W ho , W xg , W hg , b i , b f , b o , b g are all preset parameters
  • sigmoid is an S-shaped growth function
  • tanh is a hyperbolic tangent function
  • FIG. 4 shows a schematic block diagram of a terminal device provided by an embodiment of the present application. For convenience of description, only parts related to the embodiment of the present application are shown.
  • the terminal device 4 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the terminal device 4 may include: a processor 40, a memory 41, and computer readable instructions 42 stored in the memory 41 and executable on the processor 40, for example, computer readable to execute the above video description generation method instruction.
  • the processor 40 executes the computer-readable instructions 42, the steps in the above embodiments of the method for generating video descriptions are implemented.
  • the functional units in the embodiments of the present application are implemented in the form of software functional units and sold or used as independent products, they may be stored in a computer-readable storage medium.
  • the technical solution of the present application may be essentially or part of the contribution to the existing technology or all or part of the technical solution may be embodied in the form of a software product, and the computer software product is stored in a storage medium
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disk, etc., which can store computer-readable instructions Medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于计算机技术领域，尤其涉及一种基于神经网络的视频描述生成方法、计算机可读存储介质、终端设备及装置。所述方法首先按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列，然后分别计算所述帧序列中各个图像帧的特征向量，将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量，再将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列，最后使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。通过本申请，使用神经网络取代人工进行视频描述，无需人力介入，工作效率得到了极大提升。

Description

基于神经网络的视频描述生成方法、介质、终端及装置
本申请要求于2018年10月15日提交中国专利局、申请号为201811195508.6、发明名称为“基于神经网络的视频描述生成方法、存储介质及终端设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于计算机技术领域，尤其涉及一种基于神经网络的视频描述生成方法、计算机可读存储介质、终端设备及装置。
背景技术
对视频进行标注、描述的最直接传统的方法是人工的方式，但人工进行视频描述需要耗费大量的时间，效率十分低下，面对目前网络时代的海量视频，此种方式无疑是难以满足实际需要的。
技术问题
有鉴于此，本申请实施例提供了一种基于神经网络的视频描述生成方法、计算机可读存储介质、终端设备及装置，以解决人工进行视频描述需要耗费大量的时间，效率十分低下的问题。
技术解决方案
本申请实施例的第一方面提供了一种基于神经网络的视频描述生成方法，可以包括：
按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；
分别计算所述帧序列中各个图像帧的特征向量；
将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量；
将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列；
使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。
本申请实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述视频描述生成方法的步骤。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述视频描述生成方法的步骤。
本申请实施例的第四方面提供了一种视频描述生成装置，可以包括用于实现上述视频描述生成方法的步骤的模块。
有益效果
本申请实施例使用神经网络取代人工进行视频描述，无需人力介入，即可在极短的时间内完成海量的视频描述工作，工作效率得到了极大提升。
附图说明
图1为本申请实施例中一种视频描述生成方法的一个实施例流程图；
图2为长短期记忆网络中的各个神经网络单元进行数据处理的示意图；
图3为本申请实施例中一种视频描述生成装置的一个实施例结构图；
图4为本申请实施例中一种终端设备的示意框图。
本发明的实施方式
请参阅图1，本申请实施例中一种基于神经网络的视频描述生成方法的一个实施例可以包括：
步骤S101、按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列。
所述帧间隔可以根据实际情况进行设置，例如，可以将其设置为3帧、5帧、10帧或者其它取值，即每隔3帧、5帧、10帧或者其它取值从所述视频中提取一个图像帧。
需要注意的是，帧间隔设置的越小，则生成的视频描述结果越准确，但是计算量也越大，会造成较多的系统资源消耗，特别地，当将所述帧间隔设置为0，即提取所述视频中的所有图像帧，此时生成的视频描述结果最准确，但是计算量也最大，会造成最多的系统资源消耗，反之，帧间隔设置的越大，则生成的视频描述结果越粗略，但是计算量也越小，会造成较少的系统资源消耗，在实际使用中，需要综合考虑系统资源情况以及结果精度要求进行权衡。
在进行完图像帧的提取后，可以根据下式构造所述视频的帧序列：
V＝{v 1,v 2,…,v n,…,v N}
其中，V为所述视频的帧序列，n为从所述视频中提取的图像帧的序号，1≤n≤N，N为从所述视频中提取的图像帧的总数，v n为从所述视频中提取的第n个图像帧。
步骤S102、分别计算所述帧序列中各个图像帧的特征向量。
在本实施例中，特征向量的计算在本质上是一种基于局部特征提取的图像表示与相似度度量的方法，局部特征的提取分为两步：提取目标关键点和对关键点进行描述，关键点的定位是目标识别的基础，一般是图像灰度变化的局部极值点，含有显著的结 构性信息，甚至这些点也可以没有实际的直观视觉意义，但却在某种角度、某个尺度上含有丰富的易于匹配的信息。特征点描述即建立特征向量，特征空间的选择决定了图像的哪些特性参与匹配。特征点的特征描述应是对各种变化的不变量，以确保最低限度受位置、视角、尺度和光照等因素的影响。选择合理的特征空间可以降低各类图像变化因素对匹配算法速度、稳健性的影响。
首先，进行基于图像多尺度表示的关键点检测。为了保证提取的特征对于尺度变换保持稳定性能，本实施例在尺度空间内进行图像关键点的检测，尺度空间理论最早出现于计算机视觉领域，其目的是模拟图像数据的多尺度特征。尺度空间理论的主要思想是利用高斯核对原始图像进行尺度变换，以获得多尺度下的图像表示。
关键点检测主要由图像尺度空间生成，高斯差分金字塔建立，候选关键点获取，关键点精定位及其筛选和关键点主方向确定几个部分组成。
图像尺度空间生成主要是对给定的二维图像生成在不同尺度空间下的图像序列图。
高斯差分金字塔建立主要是对尺度空间图像序列进行高斯差分(Difference of Gaussian，DOG)操作，即相邻高斯滤波图像的差分，其主要是为找到具有稳定尺度特征的关键点。
候选关键点的获取主要是在建立的高斯差分空间金字塔中，定义在相邻尺度空间内具有局部最大值或局部最小值的点作为图像关键点的候选。高斯差分尺度空间的中间层的每个像素点与同一层的相邻8个像素点、上一层的相邻9个像素点和下一层的相邻9个像素点总共26个相邻像素点进行比较。像素若比相邻的26个像素的高斯差分值都大或都小，则该点可作为候选关键点。
关键点精定位及其筛选主要是因为高斯差分图像的像素值对噪声和边缘较敏感，因此，在高斯差分空间检测到的局部极值点要进一步筛选，并重定位到亚像素级和精度尺度位置。同时还要去除低对比度的特征点和不稳定的边缘响应点，以增强匹配稳定性和提高抗噪声能力。
关键点主方向的确定主要目的是保证旋转不变性，基于特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数。在以特征点为中心的邻域窗口内采样，并用梯度方向直方图统计邻域像素的梯度方向。
通过以上步骤，已经完成图像特征点的提取，每个特征点有三个信息：位置、尺度和方向。然后，可以基于梯度方向直方图统计的关键点特征提取。
在图像关键点表示中，仅利用关键点的位置、尺度和方向信息不足以形成足够判决性的特征，于是需要对关键点周围的区域以尺度大小提取灰度统计特征。在特征提 取之前，首先将坐标轴旋转为关键点的方向，以确保旋转不变性。然后以关键点为中心取8×8的窗口，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。实际计算过程中为增强匹配的稳健性，将扩大特征提取的区域范围，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，最终形成128维的特征向量。为进一步去除光照对比度变化的影响，可将特征向量的长度归一化。
步骤S103、将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量。
其中，所述神经网络编码器根据下式进行状态更新：
Figure PCTCN2018124299-appb-000001
其中，LSTM (1)为预设的第一长短期记忆网络，x t为所述第一长短期记忆网络在时刻t的输入，h t (1)为所述第一长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (1)为所述第一长短期记忆网络在时刻t-1的隐藏层状态向量。
在本实施例中采用的神经网络编码器是一个长短期记忆网络(Long Short Term Memory，LSTM)，LSTM是循环神经网络的一种，经常用于序列到序列模型。它被广泛应用于机器翻译以及语音识别等领域中。
长短期记忆网络可以通过遗忘门来帮助避免梯度爆炸和消失的问题，当记忆模块中的内容已经过时的时候来重置它们。如图2所示，给定t时刻的输入x t，一个长短期记忆网络中的各个神经网络单元(即神经元)根据下式进行数据处理：
Figure PCTCN2018124299-appb-000002
其中，i t为输入门在时刻t的输出，f t为遗忘门在时刻t的输出，o t为输出门在时刻t的输出，W xi，W hi，W xf，W hf，W xo，W ho，W xg，W hg，b i，b f，b o，b g均为预设的参数，sigmoid为S型生长函数，且
Figure PCTCN2018124299-appb-000003
tanh为双曲正切函数，且
Figure PCTCN2018124299-appb-000004
在该长短期记忆网络中，整个处理过程由三部分组成：即输入门处理、遗忘门处理和输出门处理。
其中，遗忘门是以上一时刻的输出h t-1和本次时刻的输入x t为输入的sigmoid函数，为c t-1中的每一项产生一个在[0,1]内的值，来控制上一时刻的记忆状态被遗忘的程度。输入门和一个tanh函数配合控制有哪些新信息被加入。tanh函数产生一个新的候选向量g t，输入门为g t中的每一项产生一个在[0,1]内的值，控制新信息被加入的多少。在有了遗忘门的输出f t，用来控制上一时刻被遗忘的程度，也有了输入门的输出i t，用来控制新信息被加入的多少，就可以更新本次时刻的记忆状态了。输出门用来控制本次时刻的记忆状态有多少被过滤掉。先将本次时刻的记忆状态激活，输出门为其中每一项产生一个在[0,1]内的值，控制本次时刻的记忆状态被过滤的程度。
可以看出，通过图2所示的结构中的状态结构缓存以往时刻的状态信息，并且通过输入门、遗忘门以及输出门对历史状态信息进行维护，从而实现了长距离历史状态信息的有效缓存。
所述帧序列中各个图像帧的特征向量经过所述神经网络编码器的处理之后，输出为一个固定长度的向量，也即所述帧序列的语义向量。
步骤S104、将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列。
可选地，所述神经网络解码器可以根据下式进行状态更新：
Figure PCTCN2018124299-appb-000005
其中，LSTM (2)为预设的第二长短期记忆网络，w t-1为所述第二长短期记忆网络在时刻t-1生成的词向量，
Figure PCTCN2018124299-appb-000006
为由所述第二长短期记忆网络在时刻t-1生成的词向量与所述第一长短期记忆网络在时刻t的隐藏层状态向量组合成的向量，h t (2)为所述第二长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (2)为所述第二长短期记忆网络在时刻t-1的隐藏层状态向量。
在本实施例中采用的神经网络解码器也是一个长短期记忆网络，即本实施例中采用了两个LSTM网络进行视频描述的生成，分别为作为神经网络编码器的第一长短期记忆网络和作为神经网络解码器的第二长短期记忆网络，所述第二长短期记忆网络与所述第二长短期记忆网络中的各个神经网络单元的数据处理模式类似，具体可参照上述关于第一长短期记忆网络的描述，此处对其不再赘述。
优选地，还可以在此基础上引入时间注意力机制，即所述神经网络解码器可以根据下式进行状态更新：
Figure PCTCN2018124299-appb-000007
其中，c t为所述第二长短期记忆网络在时刻t使用的注意力向量。
所述注意力向量可以根据下式进行计算：
Figure PCTCN2018124299-appb-000008
其中，
Figure PCTCN2018124299-appb-000009
为预设的权重系数，且
Figure PCTCN2018124299-appb-000010
为预设的对齐函数，可以从以下函数集合中的四个函数中选取一个函数作为所述对齐函数：
Figure PCTCN2018124299-appb-000011
W a和W b均为预设的系数。
为了确定哪个对齐函数对模型最合适，可以使用不同的对齐函数，经过梯度下降法得到损失函数收敛后的模型参数，在测试集上生成的视频描述效果中最好的即为最终采用的函数。因为是视频描述生成模型，所以需要综合考量能够评定语句是否符合语音规范的评估分数，以及视频描述与视频内容的相关程度，将这些作为对齐函数的确定基准。
步骤S105、使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。
在本实施例中，可以根据下式对所述词向量序列进行处理：
p(w t|w 1,w 2,...,w t-1)＝softmax(W sh t (2)+b s)
其中，softmax为所述归一化指数函数，Ws和bs为预设的系数，p(w t|w 1,w 2,...,w t-1)为在时刻t的词向量对应的各个词语的概率，这些词语中概率值最大的词语即为时刻t的描述词语，将这些描述词语组合在一起，即可生成所述视频的描述词语序列。
综上所述，本申请实施例使用神经网络取代人工进行视频描述，无需人力介入，即可在极短的时间内完成海量的视频描述工作，工作效率得到了极大提升。
对应于上文实施例所述的一种视频描述生成方法，图3示出了本申请实施例提供的一种视频描述生成装置的一个实施例结构图。
本实施例中，一种视频描述生成装置可以包括：
帧序列构造模块301，用于按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；
特征向量计算模块302，用于分别计算所述帧序列中各个图像帧的特征向量；
编码器处理模块303，用于将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量；
解码器处理模块304，用于将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列；
描述词语序列生成模块305，用于使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。
进一步地，所述视频描述生成装置还可以包括第一更新模块，用于对所述神经网络编码器根据下式进行状态更新：
Figure PCTCN2018124299-appb-000012
其中，LSTM (1)为预设的第一长短期记忆网络，x t为所述第一长短期记忆网络在时刻t的输入，h t (1)为所述第一长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (1)为所述第一长短期记忆网络在时刻t-1的隐藏层状态向量；
进一步地，所述视频描述生成装置还可以包括第二更新模块，用于对所述神经网络解码器根据下式进行状态更新：
Figure PCTCN2018124299-appb-000013
其中，LSTM (2)为预设的第二长短期记忆网络，w t-1为所述第二长短期记忆网络在时刻t-1生成的词向量，
Figure PCTCN2018124299-appb-000014
为由所述第二长短期记忆网络在时刻t-1生成的词向量与所述第一长短期记忆网络在时刻t的隐藏层状态向量组合成的向量，c t为所述第二长短期记忆网络在时刻t使用的注意力向量，h t (2)为所述第二长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (2)为所述第二长短期记忆网络在时刻t-1的隐藏层状态向量。
进一步地，所述视频描述生成装置还可以包括注意力向量计算模块，用于根据下式计算所述注意力向量：
Figure PCTCN2018124299-appb-000015
其中，
Figure PCTCN2018124299-appb-000016
为预设的权重系数，且
Figure PCTCN2018124299-appb-000017
为预设的对齐函数。
进一步地，所述视频描述生成装置还可以包括对齐函数选取模块，用于从以下函数集合中选取一个函数作为所述对齐函数：
Figure PCTCN2018124299-appb-000018
其中，W a和W b均为预设的系数。
进一步地，所述视频描述生成装置还可以包括数据处理模块，用于所述第一长短期记忆网络和所述第二长短期记忆网络中的各个神经网络单元根据下式进行数据处理：
Figure PCTCN2018124299-appb-000019
其中，i t为输入门在时刻t的输出，f t为遗忘门在时刻t的输出，o t为输出门在时刻t的输出，W xi，W hi，W xf，W hf，W xo，W ho，W xg，W hg，b i，b f，b o，b g均为预设的参数，sigmoid为S型生长函数，且
Figure PCTCN2018124299-appb-000020
tanh为双曲正切函数，且
Figure PCTCN2018124299-appb-000021
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置， 模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4示出了本申请实施例提供的一种终端设备的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。
在本实施例中，所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备4可包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42，例如执行上述的视频描述生成方法的计算机可读指令。所述处理器40执行所述计算机可读指令42时实现上述各个视频描述生成方法实施例中的步骤。
在本申请各个实施例中的各功能单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。

Claims (20)

  1. 一种基于神经网络的视频描述生成方法，其特征在于，包括：
    按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；
    分别计算所述帧序列中各个图像帧的特征向量；
    将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量；
    将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列；
    使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。
  2. 根据权利要求1所述的视频描述生成方法，其特征在于，所述神经网络编码器根据下式进行状态更新：
    Figure PCTCN2018124299-appb-100001
    其中，LSTM (1)为预设的第一长短期记忆网络，x t为所述第一长短期记忆网络在时刻t的输入，h t (1)为所述第一长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (1)为所述第一长短期记忆网络在时刻t-1的隐藏层状态向量；
    所述神经网络解码器根据下式进行状态更新：
    Figure PCTCN2018124299-appb-100002
    其中，LSTM (2)为预设的第二长短期记忆网络，w t-1为所述第二长短期记忆网络在时刻t-1生成的词向量，
    Figure PCTCN2018124299-appb-100003
    为由所述第二长短期记忆网络在时刻t-1生成的词向量与所述第一长短期记忆网络在时刻t的隐藏层状态向量组合成的向量，c t为所述第二长短期记忆网络在时刻t使用的注意力向量，h t (2)为所述第二长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (2)为所述第二长短期记忆网络在时刻t-1的隐藏层状态向量。
  3. 根据权利要求2所述的视频描述生成方法，其特征在于，所述注意力向量的设置过程包括：
    根据下式计算所述注意力向量：
    Figure PCTCN2018124299-appb-100004
    其中，
    Figure PCTCN2018124299-appb-100005
    为预设的权重系数，且
    Figure PCTCN2018124299-appb-100006
    为预设的对齐函数。
  4. 根据权利要求3所述的视频描述生成方法，其特征在于，所述对齐函数的设置过程包括：
    从以下函数集合中选取一个函数作为所述对齐函数：
    Figure PCTCN2018124299-appb-100007
    其中，W a和W b均为预设的系数。
  5. 根据权利要求2至4中任一项所述的视频描述生成方法，其特征在于，所述第一长短期记忆网络和所述第二长短期记忆网络中的各个神经网络单元根据下式进行数据处理：
    Figure PCTCN2018124299-appb-100008
    其中，i t为输入门在时刻t的输出，f t为遗忘门在时刻t的输出，o t为输出门在时刻t的输出，W xi，W hi，W xf，W hf，W xo，W ho，W xg，W hg，b i，b f，b o，b g均为预设的参数，sigmoid为S型生长函数，且
    Figure PCTCN2018124299-appb-100009
    tanh为双曲正切函数，且
    Figure PCTCN2018124299-appb-100010
  6. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如下步骤：
    按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；
    分别计算所述帧序列中各个图像帧的特征向量；
    将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量；
    将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列；
    使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。
  7. 根据权利要求6所述的计算机可读存储介质，其特征在于，所述神经网络编码器根据下式进行状态更新：
    Figure PCTCN2018124299-appb-100011
    其中，LSTM (1)为预设的第一长短期记忆网络，x t为所述第一长短期记忆网络在时刻t的输入，h t (1)为所述第一长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (1)为所述第一长短期记忆网络在时刻t-1的隐藏层状态向量；
    所述神经网络解码器根据下式进行状态更新：
    Figure PCTCN2018124299-appb-100012
    其中，LSTM (2)为预设的第二长短期记忆网络，w t-1为所述第二长短期记忆网络在时刻t-1生成的词向量，
    Figure PCTCN2018124299-appb-100013
    为由所述第二长短期记忆网络在时刻t-1生成的词向量与所述第一长短期记忆网络在时刻t的隐藏层状态向量组合成的向量，c t为所述第二长短期记忆网络在时刻t使用的注意力向量，h t (2)为所述第二长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (2)为所述第二长短期记忆网络在时刻t-1的隐藏层状态向量。
  8. 根据权利要求7所述的计算机可读存储介质，其特征在于，所述注意力向量的设置过程包括：
    根据下式计算所述注意力向量：
    Figure PCTCN2018124299-appb-100014
    其中，
    Figure PCTCN2018124299-appb-100015
    为预设的权重系数，且
    Figure PCTCN2018124299-appb-100016
    为预设的对齐函数。
  9. 根据权利要求8所述的计算机可读存储介质，其特征在于，所述对齐函数的设置过程包括：
    从以下函数集合中选取一个函数作为所述对齐函数：
    Figure PCTCN2018124299-appb-100017
    其中，W a和W b均为预设的系数。
  10. 根据权利要求7至9中任一项所述的计算机可读存储介质，其特征在于，所述第一长短期记忆网络和所述第二长短期记忆网络中的各个神经网络单元根据下式进行数据处理：
    Figure PCTCN2018124299-appb-100018
    其中，i t为输入门在时刻t的输出，f t为遗忘门在时刻t的输出，o t为输出门在时刻t的输出，W xi，W hi，W xf，W hf，W xo，W ho，W xg，W hg，b i，b f，b o，b g均为预设的参数，sigmoid为S型生长函数，且
    Figure PCTCN2018124299-appb-100019
    tanh为双曲正切函数，且
    Figure PCTCN2018124299-appb-100020
  11. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；
    分别计算所述帧序列中各个图像帧的特征向量；
    将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量；
    将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列；
    使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。
  12. 根据权利要求11所述的终端设备，其特征在于，所述神经网络编码器根据下式进行状态更新：
    Figure PCTCN2018124299-appb-100021
    其中，LSTM (1)为预设的第一长短期记忆网络，x t为所述第一长短期记忆网络在时刻t的输入，h t (1)为所述第一长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (1)为所述第一长短期记忆网络在时刻t-1的隐藏层状态向量；
    所述神经网络解码器根据下式进行状态更新：
    Figure PCTCN2018124299-appb-100022
    其中，LSTM (2)为预设的第二长短期记忆网络，w t-1为所述第二长短期记忆网络在时刻t-1生成的词向量，
    Figure PCTCN2018124299-appb-100023
    为由所述第二长短期记忆网络在时刻t-1生成的词向量与所述第一长短期记忆网络在时刻t的隐藏层状态向量组合成的向量，c t为所述第二长短期记忆网络在时刻t使用的注意力向量，h t (2)为所述第二长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (2)为所述第二长短期记忆网络在时刻t-1的隐藏层状态向量。
  13. 根据权利要求12所述的终端设备，其特征在于，所述注意力向量的设置过程包括：
    根据下式计算所述注意力向量：
    Figure PCTCN2018124299-appb-100024
    其中，
    Figure PCTCN2018124299-appb-100025
    为预设的权重系数，且
    Figure PCTCN2018124299-appb-100026
    为预设的对齐函数。
  14. 根据权利要求13所述的终端设备，其特征在于，所述对齐函数的设置过程包括：
    从以下函数集合中选取一个函数作为所述对齐函数：
    Figure PCTCN2018124299-appb-100027
    其中，W a和W b均为预设的系数。
  15. 根据权利要求12至14中任一项所述的终端设备，其特征在于，所述第一长短期记忆网络和所述第二长短期记忆网络中的各个神经网络单元根据下式进行数据处理：
    Figure PCTCN2018124299-appb-100028
    其中，i t为输入门在时刻t的输出，f t为遗忘门在时刻t的输出，o t为输出门在时刻t的输出，W xi，W hi，W xf，W hf，W xo，W ho，W xg，W hg，b i，b f，b o，b g均为预设的参数，sigmoid为S型生长函数，且
    Figure PCTCN2018124299-appb-100029
    tanh为双曲正切函数，且
    Figure PCTCN2018124299-appb-100030
  16. 一种视频描述生成装置，其特征在于，包括：
    帧序列构造模块，用于按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；
    特征向量计算模块，用于分别计算所述帧序列中各个图像帧的特征向量；
    编码器处理模块，用于将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量；
    解码器处理模块，用于将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列；
    描述词语序列生成模块，用于使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。
  17. 根据权利要求16所述的视频描述生成装置，其特征在于，还包括：
    第一更新模块，用于对所述神经网络编码器根据下式进行状态更新：
    Figure PCTCN2018124299-appb-100031
    其中，LSTM (1)为预设的第一长短期记忆网络，x t为所述第一长短期记忆网络在时刻t的输入，h t (1)为所述第一长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (1)为所述第一长短期记忆网络在时刻t-1的隐藏层状态向量；
    第二更新模块，用于对所述神经网络解码器根据下式进行状态更新：
    Figure PCTCN2018124299-appb-100032
    其中，LSTM (2)为预设的第二长短期记忆网络，w t-1为所述第二长短期记忆网络在时刻t-1生成的词向量，
    Figure PCTCN2018124299-appb-100033
    为由所述第二长短期记忆网络在时刻t-1生成的词向量与所述第一长短期记忆网络在时刻t的隐藏层状态向量组合成的向量，c t为所述第二长短期记忆网络在时刻t使用的注意力向量，h t (2)为所述第二长短期记忆网络在时刻t的隐藏层状态向量，h t-1 (2)为所述第二长短期记忆网络在时刻t-1的隐藏层状态向量。
  18. 根据权利要求17所述的视频描述生成装置，其特征在于，还包括：
    注意力向量计算模块，用于根据下式计算所述注意力向量：
    Figure PCTCN2018124299-appb-100034
    其中，
    Figure PCTCN2018124299-appb-100035
    为预设的权重系数，且
    Figure PCTCN2018124299-appb-100036
    为预设的对齐函数。
  19. 根据权利要求18所述的视频描述生成装置，其特征在于，还包括：
    对齐函数选取模块，用于从以下函数集合中选取一个函数作为所述对齐函数：
    Figure PCTCN2018124299-appb-100037
    其中，W a和W b均为预设的系数。
  20. 根据权利要求17至19中任一项所述的视频描述生成装置，其特征在于，还包括：
    数据处理模块，用于所述第一长短期记忆网络和所述第二长短期记忆网络中的各个神经网络单元根据下式进行数据处理：
    Figure PCTCN2018124299-appb-100038
    其中，i t为输入门在时刻t的输出，f t为遗忘门在时刻t的输出，o t为输出门在时刻t的输出，W xi，W hi，W xf，W hf，W xo，W ho，W xg，W hg，b i，b f，b o，b g均为预设的参数，sigmoid为S型生长函数，且
    Figure PCTCN2018124299-appb-100039
    tanh为双曲正切函数，且
    Figure PCTCN2018124299-appb-100040
PCT/CN2018/124299 2018-10-15 2018-12-27 基于神经网络的视频描述生成方法、介质、终端及装置 Ceased WO2020077858A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811195508.6 2018-10-15
CN201811195508.6A CN109359214A (zh) 2018-10-15 2018-10-15 基于神经网络的视频描述生成方法、存储介质及终端设备

Publications (1)

Publication Number Publication Date
WO2020077858A1 true WO2020077858A1 (zh) 2020-04-23

Family

ID=65349240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/124299 Ceased WO2020077858A1 (zh) 2018-10-15 2018-12-27 基于神经网络的视频描述生成方法、介质、终端及装置

Country Status (2)

Country Link
CN (1) CN109359214A (zh)
WO (1) WO2020077858A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359214A (zh) * 2018-10-15 2019-02-19 平安科技（深圳）有限公司 基于神经网络的视频描述生成方法、存储介质及终端设备
CN111639536A (zh) * 2020-04-29 2020-09-08 深圳壹账通智能科技有限公司 面审欺诈辅助识别方法、装置、电子设备及存储介质
CN112001482A (zh) * 2020-08-14 2020-11-27 佳都新太科技股份有限公司 振动预测及模型训练方法、装置、计算机设备和存储介质
CN112884019A (zh) * 2021-01-29 2021-06-01 辽宁科技大学 一种基于融合门循环网络模型的图像转语言方法
CN113409757A (zh) * 2020-12-23 2021-09-17 腾讯科技（深圳）有限公司 基于人工智能的音频生成方法、装置、设备及存储介质
CN113705345A (zh) * 2021-07-21 2021-11-26 西安交通大学 一种基于sta-tsn的人类行为识别方法及系统
CN115098727A (zh) * 2022-06-16 2022-09-23 电子科技大学 基于视觉常识知识表征的视频描述生成方法
CN115861923A (zh) * 2022-11-24 2023-03-28 中国人民解放军总医院第一医学中心 腿部热疗康复设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960747B (zh) * 2019-04-02 2022-12-16 腾讯科技（深圳）有限公司 视频描述信息的生成方法、视频处理方法、相应的装置
CN109874029B (zh) 2019-04-22 2021-02-12 腾讯科技（深圳）有限公司 视频描述生成方法、装置、设备及存储介质
CN111046904B (zh) * 2019-10-30 2021-11-23 中国科学院深圳先进技术研究院 一种图像描述方法、图像描述装置及计算机存储介质
CN111368898B (zh) * 2020-02-28 2022-10-25 同济大学 一种基于长短时记忆网络变体的图像描述生成方法
CN111988673B (zh) * 2020-07-31 2023-05-23 清华大学 视频描述语句的生成方法及相关设备
CN114501165A (zh) * 2020-10-23 2022-05-13 国家广播电视总局广播电视科学研究院 视频结构化表示方法、装置及电子设备
CN114512138B (zh) * 2020-10-29 2025-07-04 华为技术有限公司 解码方法及电子设备
CN112381726B (zh) * 2020-10-29 2023-05-23 浙江吉利控股集团有限公司 一种地下车库全局图的构建方法及装置
CN116710969B (zh) * 2020-12-22 2025-08-05 华为技术有限公司 用于自动关键点和描述提取的装置和方法
CN113191262B (zh) * 2021-04-29 2022-08-19 桂林电子科技大学 一种视频描述数据处理方法、装置及存储介质
CN113707278B (zh) * 2021-08-30 2023-11-03 北京工业大学 一种基于空间编码的脑ct医学报告生成方法
CN116310384B (zh) * 2023-03-08 2025-07-25 浙江理工大学 一种图像特征编码方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391646A (zh) * 2017-07-13 2017-11-24 清华大学 一种视频图像的语义信息提取方法及装置
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN108416065A (zh) * 2018-03-28 2018-08-17 复旦大学 基于层级神经网络的图像-句子描述生成系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107484017B (zh) * 2017-07-25 2020-05-26 天津大学 基于注意力模型的有监督视频摘要生成方法
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法
CN109359214A (zh) * 2018-10-15 2019-02-19 平安科技（深圳）有限公司 基于神经网络的视频描述生成方法、存储介质及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391646A (zh) * 2017-07-13 2017-11-24 清华大学 一种视频图像的语义信息提取方法及装置
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN108416065A (zh) * 2018-03-28 2018-08-17 复旦大学 基于层级神经网络的图像-句子描述生成系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VENUGOPALAN, S. ET AL.: "Sequence to Sequence - Video to Text", 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV, 19 October 2015 (2015-10-19), pages 4534 - 4542, XP055680333 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359214A (zh) * 2018-10-15 2019-02-19 平安科技（深圳）有限公司 基于神经网络的视频描述生成方法、存储介质及终端设备
CN111639536A (zh) * 2020-04-29 2020-09-08 深圳壹账通智能科技有限公司 面审欺诈辅助识别方法、装置、电子设备及存储介质
CN112001482A (zh) * 2020-08-14 2020-11-27 佳都新太科技股份有限公司 振动预测及模型训练方法、装置、计算机设备和存储介质
CN112001482B (zh) * 2020-08-14 2024-05-24 佳都科技集团股份有限公司 振动预测及模型训练方法、装置、计算机设备和存储介质
CN113409757A (zh) * 2020-12-23 2021-09-17 腾讯科技（深圳）有限公司 基于人工智能的音频生成方法、装置、设备及存储介质
CN112884019A (zh) * 2021-01-29 2021-06-01 辽宁科技大学 一种基于融合门循环网络模型的图像转语言方法
CN112884019B (zh) * 2021-01-29 2023-11-21 辽宁科技大学 一种基于融合门循环网络模型的图像转语言方法
CN113705345A (zh) * 2021-07-21 2021-11-26 西安交通大学 一种基于sta-tsn的人类行为识别方法及系统
CN113705345B (zh) * 2021-07-21 2023-09-12 西安交通大学 一种基于sta-tsn的人类行为识别方法及系统
CN115098727A (zh) * 2022-06-16 2022-09-23 电子科技大学 基于视觉常识知识表征的视频描述生成方法
CN115861923A (zh) * 2022-11-24 2023-03-28 中国人民解放军总医院第一医学中心 腿部热疗康复设备

Also Published As

Publication number Publication date
CN109359214A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
WO2020077858A1 (zh) 基于神经网络的视频描述生成方法、介质、终端及装置
US20220383535A1 (en) Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN113971751A (zh) 训练特征提取模型、检测相似图像的方法和装置
CN107341518A (zh) 一种基于卷积神经网络的图像分类方法
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN106683091A (zh) 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN106709936A (zh) 一种基于卷积神经网络的单目标跟踪方法
Hua et al. Depth estimation with convolutional conditional random field network
CN108416347A (zh) 基于边界先验和迭代优化的显著目标检测算法
Zhang et al. High-quality face image generation based on generative adversarial networks
EP4443396A1 (en) Image encoder training method and apparatus, device, and medium
US20250259068A1 (en) Training object discovery neural networks and feature representation neural networks using self-supervised learning
CN114926849A (zh) 一种文本检测方法、装置、设备及存储介质
CN112561879A (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN114782722A (zh) 图文相似度的确定方法、装置及电子设备
Cheng et al. Water quality monitoring method based on TLD 3D fish tracking and XGBoost
CN110675311A (zh) 一种素描序约束下的素描生成的方法、装置及存储介质
CN110135435A (zh) 一种基于广度学习系统的显著性检测方法及装置
Rayeed et al. Bangla sign digits recognition using depth information
Luo et al. Multi-scale face detection based on convolutional neural network
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN110738261A (zh) 图像分类和模型训练方法、装置、电子设备及存储介质
Wang Motion recognition based on deep learning and human joint points
Jiang et al. Robust 3d face alignment with efficient fully convolutional neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937286

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18937286

Country of ref document: EP

Kind code of ref document: A1