WO2020232886A1 - 一种视频行为识别方法、装置、存储介质和服务器 - Google Patents

一种视频行为识别方法、装置、存储介质和服务器 Download PDF

Info

Publication number
WO2020232886A1
WO2020232886A1 PCT/CN2019/103174 CN2019103174W WO2020232886A1 WO 2020232886 A1 WO2020232886 A1 WO 2020232886A1 CN 2019103174 W CN2019103174 W CN 2019103174W WO 2020232886 A1 WO2020232886 A1 WO 2020232886A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
image
processing data
sample
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/103174
Other languages
English (en)
French (fr)
Inventor
周俊琨
罗郑楠
官民
许扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020232886A1 publication Critical patent/WO2020232886A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Definitions

  • This application relates to the field of computer technology, and in particular to a video behavior recognition method , device, storage medium, and server.
  • the picture classification technology and picture-based positioning technology on the market are relatively mature, but the behavior recognition of the video cannot be completed by one picture, but the behavior type needs to be judged through continuous multiple frames of video images. For example: Determine whether the dance type in a video is rumba, cha-cha or square dance.
  • the video file When recognizing video behaviors, generally, the video file is input into a pre-trained neural network model, and the behavior recognition result of the video file is directly obtained.
  • the training process of the existing neural network model only considers the global features of the video samples, and does not consider the corresponding local features, which leads to low accuracy of video behavior recognition.
  • the embodiments of the present application provide a video behavior recognition method , device, storage medium, and server to solve the problem of low accuracy of video behavior recognition.
  • the first aspect of the embodiments of the present application provides a video behavior recognition method, including:
  • the target neural network model includes a first processing layer and a second processing layer, and the first processing layer and the second processing layer are two adjacent convolutions in the network structure of the target neural network model.
  • Layer the target neural network converts the multi-frame video image into four-dimensional image data for processing, and the processing logic between the first processing layer and the second processing layer is as follows:
  • the fifth image processing data is input to the second processing layer, and the second processing layer is used to perform convolution processing on the fifth image processing data, and then input the processed data to the next processing layer.
  • a second aspect of the embodiments of the present application provides a video behavior recognition device, including:
  • Video acquisition module for acquiring the video to be identified
  • the video image extraction module is used to extract multiple frames of video images from the video to be recognized
  • a behavior recognition module configured to input the multi-frame video images into a pre-trained target neural network model to obtain a behavior recognition result output by the target neural network model;
  • the target neural network model includes a first processing layer and a second processing layer, and the first processing layer and the second processing layer are two adjacent convolutions in the network structure of the target neural network model.
  • Layer the target neural network converts the multi-frame video image into four-dimensional image data for processing, and the processing logic between the first processing layer and the second processing layer is as follows:
  • the first processing layer is used to receive the image processing data output by the previous processing layer, and perform convolution processing on the received image processing data to obtain The first image processing data;
  • the fifth image processing data is input to the second processing layer, and the second processing layer is used to perform convolution processing on the fifth image processing data, and then input the processed data to the next processing layer.
  • the third aspect of the embodiments of the present application provides a computer non-volatile readable storage medium, the computer non-volatile readable storage medium stores computer readable instructions, and the computer readable instructions are When executed, the steps of the video behavior recognition method proposed in the first aspect of the embodiments of the present application are implemented.
  • a fourth aspect of the embodiments of the present application provides a server, including a memory, a processor, and computer-readable instructions stored in the memory and running on the processor, and the processor executes the computer
  • the readable instructions implement the steps of the video behavior recognition method proposed in the first aspect of the embodiments of the present application.
  • the video behavior recognition method proposed in the embodiment of this application first obtains a video to be recognized, and extracts a multi-frame video image from the video to be recognized; then inputs the multi-frame video image into a pre-trained neural network model to obtain The behavior recognition result output by the neural network model.
  • the embodiment of the application adds the following data processing logic to the structure of the neural network model: acquiring the image processing data of the multi-frame video image, the image processing data is a four-dimensional matrix containing the global feature information of the image, through the four-dimensional matrix Perform convolution processing to obtain a four-dimensional matrix containing image local feature information, and then the four-dimensional matrix containing image global feature information and the four-dimensional matrix containing image local feature information are tiled and then multiplied, thereby multiplying the video image
  • the combination of local features and global features can improve the accuracy of video behavior recognition.
  • FIG. 1 is a flowchart of a first embodiment of a video behavior recognition method provided by an embodiment of the present application
  • FIG. 2 is a flowchart of a second embodiment of a video behavior recognition method provided by an embodiment of the present application
  • FIG. 3 is a structural diagram of an embodiment of a video behavior recognition device provided by an embodiment of the present application.
  • Fig. 4 is a schematic diagram of a server provided by an embodiment of the present application.
  • a first embodiment of a video behavior recognition method in an embodiment of the present application includes:
  • the video to be recognized which is a video file of a certain length that needs to recognize the behavior of the video personnel.
  • multiple frames of video images are extracted from the video to be recognized.
  • various video image extraction methods included in the prior art can be used, for example, multiple frames of video images are uniformly extracted from a video file according to the video length.
  • the multi-frame video image is input to the pre-trained target neural network model, so as to obtain the behavior recognition result output by the target neural network model.
  • the target neural network model can be trained by using sample videos of various known behavior categories as a training set. For example, sample videos in the Kinetics behavior data set can be used.
  • the target neural network model includes a first processing layer and a second processing layer, and the first processing layer and the second processing layer are in the network structure of the target neural network model. With two adjacent convolutional layers, the target neural network converts the multi-frame video image into four-dimensional image data for processing, and the four dimensions may be the time, height, width, and feature value of the video image.
  • the processing logic between the first processing layer and the second processing layer is as follows:
  • the first processing layer is a certain convolutional layer included in the structure of the target neural network model, which processes the image processing data output by the previous processing layer of the model, and processes the received image Convolution processing is performed on the data to obtain the first image processing data.
  • the first processing layer outputs first image processing data in a four-dimensional matrix format, and the first image processing data is data obtained after the multi-frame video image is processed by the first processing layer.
  • the dimensions of the matrix are the time, height, width, and feature value of the video image. For example, it can be T*H*W*1024 (time * height * width * feature value).
  • the first image processing data has the global video image Characteristic information.
  • step (2) perform matrix tiling processing on the first image processing data to obtain the second image processing data in a two-dimensional matrix format.
  • the matrix can be tiled to achieve dimensionality reduction, such as a 2 row 5
  • a matrix of columns can be tiled to get a matrix of 1 row and 10 columns.
  • the second image processing data of THW*1024 can be obtained, that is, a four-dimensional matrix becomes a two-dimensional matrix.
  • step (3) after performing convolution processing on the first image data, perform matrix tiling processing to obtain third image processing data in a two-dimensional matrix format. After convolution processing, third image processing data containing local feature information of the video image can be obtained.
  • step (3) may include:
  • the first image processing data is multiplied by the pre-built first convolution matrix, and then the matrix tiling processing is performed to obtain the sixth image processing data in a two-dimensional matrix format.
  • the matrix tiling processing is performed to obtain the sixth image processing data in a two-dimensional matrix format.
  • the first convolution matrix and the second convolution matrix are both 1*1*1 convolution kernels, and have different element values.
  • the obtained sixth image processing data and seventh image processing data both contain the local feature information of the video image.
  • the sixth image processing data and the seventh image processing data are multiplied to obtain the third image processing data in a two-dimensional matrix format.
  • the third image processing data and the second image processing data are multiplied to obtain the fourth image processing data in a two-dimensional matrix format.
  • the THW*THW third image processing data and the THW*1024 second image processing data they are multiplied to obtain the THW*1024 fourth image processing data.
  • step (5) perform matrix inverse tiling processing on the fourth image processing data to obtain fifth image processing data in a four-dimensional matrix format.
  • the inverse tiling of the matrix is the inverse operation of the matrix tiling, which can also be called the expansion of the matrix. It can realize the dimension increase. For example, a matrix with 1 row and 10 columns can be obtained by inverse tiling. matrix.
  • Performing matrix inverse tiling processing on the THW*1024 fourth image processing data can obtain T*H*W*1024 fifth image processing data.
  • the fifth image processing data is input to the second processing layer, and the second processing layer is used to perform convolution processing on the fifth image processing data, and then the processed data Enter the next processing layer to execute the data processing operations of each subsequent processing layer, and finally get the behavior recognition result.
  • the target neural network model is the RsesNet101 model
  • the first processing layer is the last processing layer of the fourth part of the RsesNet101 model network structure
  • the second processing layer is the first processing layer of the fifth part of the RsesNet101 model network structure.
  • a processing layer is the RsesNet101 model
  • RsesNet is a deep residual network, including RsesNet18, RsesNet34, RsesNet50, RsesNet101 and RsesNet152 and other network structures of different depths. Each network structure includes conv1, conv2, conv3, conv4 and conv5. According to the depth of the network structure Different, the number of processing layers contained in each part is also different.
  • the embodiment of the application preferably adopts the RsesNet101 neural network model, and adds the processing logic shown in the above steps (1) to (8) between the first processing layer and the second processing layer.
  • the first processing layer is the first processing layer of the RsesNet101 network structure.
  • the last processing layer of the four parts (ie conv4), and the second processing layer is the first processing layer of the fifth part (ie conv5) of the RsesNet101 network structure.
  • the target neural network model can be obtained by training through the following steps:
  • Kinetics is a behavioral data set that focuses on various human behaviors, including single-person behavior, multi-person behavior, and character behavior.
  • the data set has 400 categories, each category has more than 400-1000 video clips, which can be used as a training set to train an initial neural network model.
  • sample video images are extracted from the pre-selected sample videos, and the behavior recognition results of these sample videos are known, for example, they can be videos of ballroom dancing and square dancing.
  • sample video images are input into the initial neural network model to obtain the sample behavior recognition result, and then the sample behavior recognition result output by the model is compared with the behavior recognition result of the known sample video to obtain the corresponding error, and then according to The error corrects the parameters of the initial neural network model, and how to iterate repeatedly until a certain number of iterations or the corresponding error is less than the set threshold, and finally a neural network model with the parameters corrected will be obtained as the target neural network model.
  • the extracting sample video images from pre-selected sample videos may include:
  • the resolution of the sample video to a preset resolution, for example, it can be converted to a uniform resolution of 340*256 (horizontal pixels ⁇ vertical pixels).
  • the fourth number of sample time points according to the video length of the sample video. For example, if the length of the sample video is 60min, you can select 10 sample time points, which are 0min, 6min, 12min, 18min, 24min, 30min, 36min, 42min, 48min, 54min.
  • each of the sample video image groups including the first Five numbers of video images, for example, taking 0min as the starting point, extracting continuous 64 frames of video images from the sample video, taking 6min as the starting point, extracting continuous 64 frames of video images from the sample video...finally get 10 sample video images Groups, each group contains 64 frames of video images.
  • Each frame of video image included in the sample video image group is cut into three video images in the ways of left, center, and right border alignment.
  • Using left, center, and right alignment refers to extracting pictures separately
  • the picture information on the left, middle, and left and right sides can transform a picture with a resolution of 340*256 into three pictures with a resolution of 224*224.
  • each sample video image group will contain 64*3 frames of cut video images.
  • a sixth number of video images are selected from the cut video images included in each of the sample video image groups as the extracted sample video images. For example, one frame can be extracted by moving the step size every 8 steps. The image extraction is performed, and finally each of the sample video image groups obtains 8*3 frames of sample video images.
  • the embodiment of the application adds the following data processing logic to the structure of the neural network model: acquiring the image processing data of the multi-frame video image, the image processing data is a four-dimensional matrix containing the global feature information of the image, through the four-dimensional matrix Perform convolution processing to obtain a four-dimensional matrix containing image local feature information, and then the four-dimensional matrix containing image global feature information and the four-dimensional matrix containing image local feature information are tiled and then multiplied, thereby multiplying the video image
  • the combination of local features and global features can improve the accuracy of video behavior recognition.
  • a second embodiment of a video behavior recognition method in the embodiment of the present application includes:
  • Step 201 is the same as step 101. For details, refer to the related description of step 101.
  • the resolution of the video to be recognized is converted into a preset resolution, for example, it can be converted into a unified resolution of 340*256 (horizontal pixels ⁇ vertical pixels).
  • the first number of time points according to the video length of the video to be recognized. For example, if the length of the video to be recognized is 60min, you can select 10 time points, which are 0min, 6min, 12min, 18min, 24min, 30min, 36min, respectively , 42min, 48min, 54min.
  • each of the time points takes each of the time points as the starting point, extract consecutive multiple frames of video images from the video to be recognized to obtain the first number of video image groups, and each of the video image groups includes a second The number of video images. For example, taking 0min as the starting point, extracting continuous 64 frames of video images from the video to be recognized, and using 6min as the starting point, extracting continuous 64 frames of video images from the video to be recognized... Finally, 10 video image groups are obtained, each containing 64 frames of video images.
  • each frame of video image contained in the video image group is cut, and the image in the preset area is intercepted.
  • the image in the middle area of the video image can be cut to obtain a 224*224 cut video image.
  • a third number of video images are selected from the cut video images included in each video image group as the extracted video images.
  • the extraction can be performed in a manner of moving the step size every 8 steps to extract one frame of pictures, and finally each of the video image groups can be extracted to obtain 8 frames of video images.
  • step 207 the extracted video image is input to the pre-trained target neural network model, and the behavior recognition result output by the target neural network model is obtained.
  • step 207 refer to step 103.
  • step 207 may include:
  • each preset behavior category includes A, B, and C.
  • the behavior recognition result of video image group 1 obtained by the target neural network model is A-90% (representing the same as behavior category A The matching degree is 90%), B-30%, C-15%, the behavior recognition result of video image group 2 is A-50%, B-80%, C-35%, the behavior recognition result of video image group 3 It is A-70%, B-50%, C-75%.
  • the weighted average consider the time point corresponding to the video image group. For example, the video image group corresponds to the middle time point of the video to be recognized.
  • a higher weight value can be set, because most video files are mainly The content is in the middle of the video, so this setting can improve the accuracy of video behavior recognition to a certain extent.
  • the weight value of video image group 1 and video image group 3 is 1, and the weight value of video image group 2 is 1.2
  • B: (30%*1+80%*1.2+50%*1)/3 58.7%
  • the behavior with the highest matching degree in the weighted average is determined as the behavior recognition result of the video to be recognized, that is, behavior A is the behavior recognition result of the video to be recognized.
  • this embodiment proposes a specific way to extract multiple frames of video images from the video to be recognized, that is, to convert the resolution of the video to be recognized to a pre- Set the resolution, select a first number of time points according to the video length of the to-be-recognized video, and take each of the time points as the starting point to extract consecutive multiple frames of video images from the to-be-recognized video to obtain The first number of video image groups, each frame of video image contained in the video image group is cut, the images in a preset area are cut, and the cut video images contained in each of the video image groups are cut Select the third number of video images as the extracted video images.
  • an embodiment of a video behavior recognition device in an embodiment of the present application includes:
  • the video acquisition module 301 is used to acquire the video to be identified
  • the video image extraction module 302 is configured to extract multiple frames of video images from the video to be recognized;
  • the behavior recognition module 303 is configured to input the multi-frame video images into a pre-trained target neural network model, and obtain a behavior recognition result output by the target neural network model;
  • the target neural network model includes a first processing layer and a second processing layer, and the first processing layer and the second processing layer are two adjacent convolutions in the network structure of the target neural network model.
  • Layer the target neural network converts the multi-frame video image into four-dimensional image data for processing, and the processing logic between the first processing layer and the second processing layer is as follows:
  • the fifth image processing data is input to the second processing layer, and the second processing layer is used to perform convolution processing on the fifth image processing data, and then input the processed data to the next processing layer.
  • the target neural network model is the RsesNet101 model
  • the first processing layer is the last processing layer of the fourth part of the RsesNet101 model network structure
  • the second processing layer is the first processing layer of the fifth part of the RsesNet101 model network structure.
  • a processing layer is the RsesNet101 model
  • the video image extraction module may include:
  • the first resolution conversion unit is configured to convert the resolution of the to-be-recognized video into a preset resolution
  • a time point selecting unit configured to select a first number of time points according to the video length of the video to be recognized
  • the video image extraction unit is configured to extract successive multiple frames of video images from the video to be recognized with each of the time points as the starting point to obtain the first number of video image groups, each of the video The image group includes a second number of video images;
  • the video image cutting unit is configured to cut each frame of video image included in the video image group, and cut out the image in the preset area;
  • the video image selection unit is configured to select a third number of video images from the cut video images included in each video image group as the extracted video images.
  • the behavior recognition module may include:
  • a behavior recognition result obtaining unit configured to obtain the behavior recognition result of each video image group through the target neural network model, and the obtained behavior recognition result includes the matching degree of each preset behavior
  • a weighting calculation unit configured to calculate a weighted average value of the behavior recognition results of each of the video image groups, and the weighted weight is determined according to the time point corresponding to each of the video image groups;
  • the behavior recognition result determining unit is configured to determine the behavior with the highest matching degree in the weighted average value as the behavior recognition result of the video to be recognized.
  • the video behavior recognition device may further include:
  • the initial model training module is used to train the kinetics data set to obtain the initial neural network model
  • the sample video image extraction module is used to extract sample video images from pre-selected sample videos, the behavior recognition results of the sample videos are known;
  • a sample behavior recognition module configured to input the sample video image into the initial neural network model to obtain a sample behavior recognition result
  • the model parameter modification module is used to compare the sample behavior recognition result with the behavior recognition result of the sample video, and modify the parameters of the initial neural network model according to the comparison result, and iterate repeatedly until the sample behavior recognition result The difference between the behavior recognition result and the sample video is less than a preset threshold;
  • the target model determination module is used to determine the initial neural network model whose parameters have been corrected as the target neural network model.
  • sample video image extraction module may include:
  • a second resolution conversion unit configured to convert the resolution of the sample video into a preset resolution
  • the sample time point selection unit is configured to select a fourth number of sample time points according to the video length of the sample video
  • the sample video image extraction unit is configured to extract successive multiple frames of video images from the sample video with each sample time point as the starting point to obtain the fourth number of sample video image groups, each of which The sample video image group includes a fifth number of video images;
  • the sample video image cutting unit is configured to cut each frame of video image included in the sample video image group into 3 video images in a manner of left border alignment, center alignment, and right border alignment respectively;
  • the sample video image selection unit is used to select a sixth number of video images from the cut video images included in each sample video image group as the extracted sample video images.
  • the embodiment of the present application also provides a computer non-volatile readable storage medium, the computer non-volatile readable storage medium stores computer readable instructions, when the computer readable instructions are executed by the processor, the implementation is as shown 1 or Figure 2 shows the steps of any video behavior recognition method.
  • An embodiment of the present application also provides a server, including a memory, a processor, and computer-readable instructions stored in the memory and capable of running on the processor.
  • the processor executes the computer-readable instructions to implement Figure 1 or Figure 2 shows the steps of any video behavior recognition method.
  • Fig. 4 is a schematic diagram of a server provided by an embodiment of the present application.
  • the server 4 of this embodiment includes a processor 40, a memory 41, and computer-readable instructions 42 stored in the memory 41 and running on the processor 40.
  • the processor 40 executes the computer-readable instructions 42
  • the steps in the above embodiments of the video behavior recognition method are implemented, for example, steps 101 to 103 shown in FIG. 1.
  • the processor 40 executes the computer-readable instruction 42
  • the functions of the modules/units in the foregoing device embodiments such as the functions of the modules 301 to 303 shown in FIG. 3, are implemented.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • ROM read-only memory
  • PROM programmable ROM
  • EPROM electrically programmable ROM
  • EEPROM electrically erasable programmable ROM
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域，提出一种视频行为识别方法、装置、存储介质和服务器。首先获取待识别视频，从所述待识别视频中提取出多帧视频图像；然后将所述多帧视频图像输入预先训练完成的神经网络模型，以获得该神经网络模型输出的行为识别结果。本申请在该神经网络模型的结构中添加了以下数据处理逻辑：获取所述多帧视频图像的图像处理数据，该图像处理数据为包含图像全局特征信息的四维矩阵，通过对该四维矩阵进行卷积处理，能够得到包含图像局部特征信息的四维矩阵，然后将该包含图像全局特征信息的四维矩阵和该包含图像局部特征信息的四维矩阵分别平铺后再相乘，从而将视频图像的局部特征与全局特征相结合，能够提高视频行为识别的准确率。

Description

一种视频行为识别方法、装置、存储介质和服务器
本申请要求于2019年5月21日提交中国专利局、申请号为201910422559.6、申请名称为“一种视频行为识别方法 、装置、存储介质和服务器”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种视频行为识别方法 、装置、存储介质和服务器。
背景技术
目前，市面上的图片分类技术和基于图片的定位技术较为成熟，但是视频的行为识别无法通过一张图片来完成，而是需要通过连续的多帧视频图像来判断行为种类。例如：判断某个视频中的舞蹈类型是伦巴、恰恰还是广场舞。
在对视频行为进行识别时，一般是将视频文件输入预先训练好的神经网络模型中，直接得到该视频文件的行为识别结果。然而，现有的神经网络模型的训练过程仅考虑了视频样本的全局特征，没有考虑相应的局部特征，这导致视频行为识别的准确率较低。
 技术问题
本申请实施例提供了一种视频行为识别方法 、装置、存储介质和服务器，以解决视频行为识别的准确率低的问题。
技术解决方案
本申请实施例的第一方面，提供了一种视频行为识别方法，包括：
获取待识别视频；
从所述待识别视频中提取出多帧视频图像；
将所述多帧视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果；
其中，所述目标神经网络模型包括第一处理层和第二处理层，所述第一处理层和所述第二处理层为所述目标神经网络模型的网络结构中相邻的两个卷积层，所述目标神经网络将所述多帧视频图像转换为四个维度的图像数据进行处理，所述第一处理层和第二处理层之间的处理逻辑如下：
获取所述第一处理层输出的四维矩阵格式的第一图像处理数据，所述第一处理层用于接收上一个处理层输出的图像处理数据，对接收到的图像处理数据执行卷积处理，得到所述第一图像处理数据；
对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据；
对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据；
将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据；
对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据；
将所述第五图像处理数据输入所述第二处理层，所述第二处理层用于对所述第五图像处理数据执行卷积处理，然后将处理后的数据输入下一个处理层。
本申请实施例的第二方面，提供了一种视频行为识别装置，包括：
视频获取模块，用于获取待识别视频；
视频图像提取模块，用于从所述待识别视频中提取出多帧视频图像；
行为识别模块，用于将所述多帧视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果；
其中，所述目标神经网络模型包括第一处理层和第二处理层，所述第一处理层和所述第二处理层为所述目标神经网络模型的网络结构中相邻的两个卷积层，所述目标神经网络将所述多帧视频图像转换为四个维度的图像数据进行处理，所述第一处理层和第二处理层之间的处理逻辑如下：
获取所述第一处理层输出的四维矩阵格式的第一图像处理数据所述第一处理层用于接收上一个处理层输出的图像处理数据，对接收到的图像处理数据执行卷积处理，得到所述第一图像处理数据；
对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据；
对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据；
将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据；
对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据；
将所述第五图像处理数据输入所述第二处理层，所述第二处理层用于对所述第五图像处理数据执行卷积处理，然后将处理后的数据输入下一个处理层。
本申请实施例的第三方面，提供了一种计算机非易失性可读存储介质，所述计算机非易失性可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如本申请实施例的第一方面提出的视频行为识别方法的步骤。
本申请实施例的第四方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如本申请实施例的第一方面提出的视频行为识别方法的步骤。
 有益效果
本申请实施例提出的视频行为识别方法，首先获取待识别视频，从所述待识别视频中提取出多帧视频图像；然后将所述多帧视频图像输入预先训练完成的神经网络模型，以获得该神经网络模型输出的行为识别结果。本申请实施例在该神经网络模型的结构中添加了以下数据处理逻辑：获取所述多帧视频图像的图像处理数据，该图像处理数据为包含图像全局特征信息的四维矩阵，通过对该四维矩阵进行卷积处理，能够得到包含图像局部特征信息的四维矩阵，然后将该包含图像全局特征信息的四维矩阵和该包含图像局部特征信息的四维矩阵分别平铺后再相乘，从而将视频图像的局部特征与全局特征相结合，能够提高视频行为识别的准确率。
 附图说明
图1是本申请实施例提供的一种视频行为识别方法的第一个实施例的流程图；
图2是本申请实施例提供的一种视频行为识别方法的第二个实施例的流程图；
图3是本申请实施例提供的一种视频行为识别装置的一个实施例的结构图；
图4是本申请实施例提供的一种服务器的示意图。
本申请的实施方式
请参阅图1，本申请实施例中一种视频行为识别方法的第一个实施例包括：
101、获取待识别视频；
首先，获取待识别视频，待识别视频是需要识别视频人员行为的一定长度的视频文件。
102、从所述待识别视频中提取出多帧视频图像；
在获取到待识别视频之后，从所述待识别视频中提取出多帧视频图像。具体的，可以采用现有技术中包含的各类视频图像提取方式，比如从视频文件中按照视频长度均匀地提取出多帧视频图像。
103、将所述多帧视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果。
然后，将所述多帧视频图像输入预先训练完成的目标神经网络模型，从而获得所述目标神经网络模型输出的行为识别结果。该目标神经网络模型可以采用各类已知行为类别的样本视频作为训练集训练得到，比如可以采用Kinetics行为数据集中的样本视频。其中，为了提高行为识别的准确性，该目标神经网络模型包括第一处理层和第二处理层，所述第一处理层和所述第二处理层为所述目标神经网络模型的网络结构中相邻的两个卷积层，所述目标神经网络将所述多帧视频图像转换为四个维度的图像数据进行处理，这四个维度可以是视频图像的时间、高度、宽度和特征值。所述第一处理层和第二处理层之间的处理逻辑如下：
（1）获取所述第一处理层输出的四维矩阵格式的第一图像处理数据；
（2）对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据；
（3）对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据；
（4）将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据；
（5）对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据；
（6）将所述第五图像处理数据输入所述第二处理层。
对于上述步骤（1），该第一处理层是目标神经网络模型的结构中包含的某一个卷积层，其处理的是该模型上一个处理层输出的图像处理数据，对接收到的图像处理数据执行卷积处理，得到所述第一图像处理数据。具体的，该第一处理层输出的是四维矩阵格式的第一图像处理数据，所述第一图像处理数据为所述多帧视频图像经所述第一处理层处理后得到的数据。矩阵的各个维度分别是视频图像的时间、高度、宽度和特征值，比如可以为T*H*W*1024（时间*高度*宽度*特征值），该第一图像处理数据具有视频图像的全局特征信息。
对于上述步骤（2），对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据，矩阵经过平铺处理，可以实现降维，比如一个2行5列的矩阵，经过平铺可以得到一个1行10列的矩阵。对于T*H*W*1024的第一图像处理数据，经过矩阵的平铺处理，可以得到THW*1024的第二图像处理数据，即从四维矩阵变为二维矩阵。
对于上述步骤（3），对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据。经过卷积处理，可以获得包含视频图像局部特征信息的第三图像处理数据。具体的，步骤（3）可以包括：
（3.1）将所述第一图像处理数据和预先构建的第一卷积矩阵相乘后，执行矩阵的平铺处理，得到二维矩阵格式的第六图像处理数据；
所述第一图像处理数据和预先构建的第一卷积矩阵相乘，然后执行矩阵的平铺处理，得到二维矩阵格式的第六图像处理数据。对于T*H*W*1024的第一图像处理数据，和预先构建的第一卷积矩阵（1*1*1）相乘，然后再执行矩阵的平铺处理，可以得到THW*1024的第六图像处理数据。
（3.2）将所述第一图像处理数据和预先构建的第二卷积矩阵相乘后，执行矩阵的平铺处理并转置，得到二维矩阵格式的第七图像处理数据；
所述第一卷积矩阵和所述第二卷积矩阵均为1*1*1的卷积核，且具有不同的元素值。对于T*H*W*1024的第一图像处理数据，和预先构建的第二卷积矩阵（1*1*1）相乘，然后再执行矩阵的平铺处理，接着进行矩阵转置；或者在和预先构建的第二卷积矩阵（1*1*1）相乘之后先执行矩阵转置，然后再执行矩阵的平铺处理，可以得到1024*THW的第七图像处理数据。经过卷积矩阵的处理，获得的第六图像处理数据和第七图像处理数据均包含视频图像的局部特征信息。
（3.3）将所述第六图像处理数据和所述第七图像处理数据相乘，获得二维矩阵格式的所述第三图像处理数据。
将所述第六图像处理数据和所述第七图像处理数据相乘，得到二维矩阵格式的所述第三图像处理数据。对于THW*1024的第六图像处理数据和1024*THW的第七图像处理数据，它们相乘之后得到（THW*THW）的第三图像处理数据。
对于上述步骤（4），将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据。对于THW*THW的第三图像处理数据和THW*1024的第二图像处理数据，它们相乘之后得到THW*1024的第四图像处理数据。通过将所述第三图像处理数据和所述第二图像处理数据相乘，实现了视频图像全局特征和局部特征的结合。
对于上述步骤（5），对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据。矩阵的逆平铺处理是矩阵平铺的逆操作，也可称为矩阵的展开处理，可以实现升维，比如一个1行10列的矩阵，经过逆平铺处理可以得到一个2行5列的矩阵。对THW*1024的第四图像处理数据进行矩阵的逆平铺处理，可以得到T*H*W*1024的第五图像处理数据。
对于上述步骤（6），将所述第五图像处理数据输入所述第二处理层，所述第二处理层用于对所述第五图像处理数据执行卷积处理，然后将处理后的数据输入下一个处理层，以执行后续各个处理层的数据处理操作，最终得到行为识别结果。通过在神经网络模型的网络结构中添加上述步骤（1）-（6）的处理逻辑，能够将视频图像的全局特征和局部特征相结合，从而提高视频行为识别的准确率。
优选的，所述目标神经网络模型为RsesNet101模型，所述第一处理层为RsesNet101模型网络结构第四部分的最后一层处理层，所述第二处理层为RsesNet101模型网络结构第五部分的第一层处理层。
RsesNet是深度残差网络，包含RsesNet18、RsesNet34、RsesNet50 RsesNet101和RsesNet152等多种不同深度的网络结构，每个网络结构都包含conv1、conv2、conv3、conv4和conv5这5个部分，根据网络结构深度的不同，每个部分包含的处理层的数量也不同。本申请实施例优选采用RsesNet101神经网络模型，在第一处理层和第二处理层之间添加如上述步骤（1）至（8）所示的处理逻辑，第一处理层是RsesNet101网络结构的第四部分（即conv4）的最后一层处理层，第二处理层是RsesNet101网络结构的第五部分（即conv5）的第一层处理层。
进一步的，所述目标神经网络模型可以通过以下步骤训练得到：
（1）采用kinetics数据集训练得到初始神经网络模型；
（2）从预先选取的样本视频中提取样本视频图像，所述样本视频的行为识别结果是已知的；
（3）将所述样本视频图像输入所述初始神经网络模型，得到样本行为识别结果；
（4）将所述样本行为识别结果和所述样本视频的行为识别结果进行比较，并根据比较的结果修正所述初始神经网络模型的参数，重复迭代直至所述样本行为识别结果和所述样本视频的行为识别结果之间的差别小于预设阈值；
（5）将参数修正完毕的所述初始神经网络模型确定为所述目标神经网络模型。
Kinetics是行为数据集，主要关注各种人类行为，包含单人行为、多人行为、人物行为等多种不同的类别。该数据集有400个类别，每个类别都有400-1000多个视频片段，可作为训练集训练得到一个初始的神经网络模型。然后，从预先选取的样本视频中提取样本视频图像，这些样本视频的行为识别结果是已知的，比如可以是交际舞、广场舞的视频。将这些样本视频图像输入所述初始的神经网络模型，得到样本行为识别结果，接着将模型输出的样本行为识别结果和该已知的样本视频的行为识别结果进行比较，得到相应的误差，然后根据该误差修正该初始神经网络模型的参数，如何反复迭代直至一定的迭代次数或者相应的误差小于设定的阈值，最终会得到一个参数修正完毕的神经网络模型，作为所述目标神经网络模型。
具体的，所述从预先选取的样本视频中提取样本视频图像可以包括：
（1）将所述样本视频的分辨率转换为预设的分辨率；
（2）根据所述样本视频的视频长度选取第四数量的样本时间点；
（3）以每个所述样本时间点为起始点，分别从所述样本视频中提取连续的多帧视频图像，得到所述第四数量的样本视频图像组，每个所述样本视频图像组包括第五数量的视频图像；
（4）对所述样本视频图像组包含的每一帧视频图像分别按照左边界对齐、中部对齐和右边界对齐的方式剪切为3个视频图像；
（5）从每个所述样本视频图像组包含的剪切后的视频图像中分别选取第六数量的视频图像，作为提取到的样本视频图像。
首先将样本视频的分辨率转换为预设的分辨率，比如可以转化为统一的分辨率340*256（水平像素×垂直像素）。然后根据所述样本视频的视频长度选取第四数量的样本时间点，比如若样本视频的长度为60min，则可以选取10个样本时间点，分别为0min、6min、12min、18min、24min、30min、36min、42min、48min、54min。接着以每个所述样本时间点为起始点，分别从所述样本视频中提取连续的多帧视频图像，得到所述第四数量的样本视频图像组，每个所述样本视频图像组包括第五数量的视频图像，比如以0min为起始点，从样本视频中提取连续的64帧视频图像，以6min为起始点，从样本视频中提取连续的64帧视频图像…最终得到10个样本视频图像组，每组包含64帧视频图像。对所述样本视频图像组包含的每一帧视频图像分别按照左边界对齐、中部对齐和右边界对齐的方式剪切为3个视频图像，采用左、中、右对齐指的是分别提取图片的左侧、中间和左右侧的图片信息，可以将一张分辨率340*256的图片转化为3张224*224的图片。经过这样处理，每一个样本视频图像组将包含64*3帧剪切后的视频图像。最后，从每个所述样本视频图像组包含的剪切后的视频图像中分别选取第六数量的视频图像，作为提取到的样本视频图像，比如可以按照每8步移动步长，提取一帧图片的方式进行提取，最终每个所述样本视频图像组得到8*3帧样本视频图像。通过将视频进行均匀分割，并提取预设帧数图片作为新的视频训练数据，既能保证提取训练数据的特征准确，又能降低视频图像的总大小，从而提高模型训练的效率。
本申请实施例在该神经网络模型的结构中添加了以下数据处理逻辑：获取所述多帧视频图像的图像处理数据，该图像处理数据为包含图像全局特征信息的四维矩阵，通过对该四维矩阵进行卷积处理，能够得到包含图像局部特征信息的四维矩阵，然后将该包含图像全局特征信息的四维矩阵和该包含图像局部特征信息的四维矩阵分别平铺后再相乘，从而将视频图像的局部特征与全局特征相结合，能够提高视频行为识别的准确率。
请参阅图2，本申请实施例中一种视频行为识别方法的第二个实施例包括：
201、获取待识别视频；
步骤201与步骤101相同，具体可参照步骤101的相关说明。
202、将所述待识别视频的分辨率转换为预设的分辨率；
在获得待识别视频之后，将所述待识别视频的分辨率转换为预设的分辨率，比如可以转化为统一的分辨率340*256（水平像素×垂直像素）。
203、根据所述待识别视频的视频长度选取第一数量的时间点；
根据所述待识别视频的视频长度选取第一数量的时间点，比如若待识别视频的长度为60min，则可以选取10个时间点，分别为0min、6min、12min、18min、24min、30min、36min、42min、48min、54min。
204、以每个所述时间点为起始点，分别从所述待识别视频中提取连续的多帧视频图像，得到所述第一数量的视频图像组；
接着，以每个所述时间点为起始点，分别从所述待识别视频中提取连续的多帧视频图像，得到所述第一数量的视频图像组，每个所述视频图像组包括第二数量的视频图像。比如以0min为起始点，从待识别视频中提取连续的64帧视频图像，以6min为起始点，从待识别视频中提取连续的64帧视频图像…最终得到10个视频图像组，每组包含64帧视频图像。
205、对所述视频图像组包含的每帧视频图像进行剪切，截取预设区域内的图像；
然后，对所述视频图像组包含的每帧视频图像进行剪切，截取预设区域内的图像。比如，对于340*256的视频图像来说，可以剪切视频图像中部区域的图像，得到224*224的剪切后的视频图像。
206、从每个所述视频图像组包含的剪切后的视频图像中分别选取第三数量的视频图像，作为提取到的视频图像；
接着，从每个所述视频图像组包含的剪切后的视频图像中分别选取第三数量的视频图像，作为提取到的视频图像。比如，可以按照每8步移动步长，提取一帧图片的方式进行提取，最终每个所述视频图像组可以提取得到8帧视频图像。
207、将所述提取到的视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果。
最后，将所述提取到的视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果。关于步骤207的具体说明，可以参照步骤103。
具体的，步骤207可以包括：
（1）通过所述目标神经网络模型分别获得每个所述视频图像组的行为识别结果，获取到的行为识别结果包括各个预设行为的匹配度；
（2）计算各个所述视频图像组的行为识别结果的加权平均值，加权的权重根据各个所述视频图像组所对应的所述时间点确定；
（3）将所述加权平均值中匹配度最高的行为确定为所述待识别视频的行为识别结果。
假设有视频图像组1、2和3，各个预设的行为类别包括A、B和C，通过该目标神经网络模型获得视频图像组1的行为识别结果为A-90%（表示与行为类别A的匹配度为90%），B-30%，C-15%，视频图像组2的行为识别结果为A-50%，B-80%，C-35%，视频图像组3的行为识别结果为A-70%，B-50%，C-75%。在计算加权平均值时，考虑视频图像组所对应的所述时间点，比如视频图像组对应的是待识别视频的中部时间点，则可以设置较高的权重值，由于大多数视频文件的主要内容处于视频的中部，故这样设置可以在一定的程度上提高视频行为识别的准确率。假设视频图像组1和视频图像组,3的权重值为1，视频图像组,2的权重值为1.2，则计算的加权平均值为A：（90%*1+50%*1.2+70%*1）/3=73.3%，B：（30%*1+80%*1.2+50%*1）/3=58.7%，C：（15%*1+35%*1.2+75%*1）/3=44%.最后，将所述加权平均值中匹配度最高的行为确定为所述待识别视频的行为识别结果，即行为A为该待识别视频的行为识别结果。
与本申请的第一个实施例相比，本实施例提出了一种具体的从所述待识别视频中提取出多帧视频图像的方式，也即将所述待识别视频的分辨率转换为预设的分辨率，根据所述待识别视频的视频长度选取第一数量的时间点，以每个所述时间点为起始点，分别从所述待识别视频中提取连续的多帧视频图像，得到所述第一数量的视频图像组，对所述视频图像组包含的每帧视频图像进行剪切，截取预设区域内的图像，从每个所述视频图像组包含的剪切后的视频图像中分别选取第三数量的视频图像，作为提取到的视频图像。
请参阅图3，本申请实施例中一种视频行为识别装置的一个实施例包括：
视频获取模块301，用于获取待识别视频；
视频图像提取模块302，用于从所述待识别视频中提取出多帧视频图像；
行为识别模块303，用于将所述多帧视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果；
其中，所述目标神经网络模型包括第一处理层和第二处理层，所述第一处理层和所述第二处理层为所述目标神经网络模型的网络结构中相邻的两个卷积层，所述目标神经网络将所述多帧视频图像转换为四个维度的图像数据进行处理，所述第一处理层和第二处理层之间的处理逻辑如下：
获取所述第一处理层输出的四维矩阵格式的第一图像处理数据，所述第一处理层用于接收上一个处理层输出的图像处理数据，对接收到的图像处理数据执行卷积处理，得到所述第一图像处理数据；
对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据；
对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据；
将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据；
对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据；
将所述第五图像处理数据输入所述第二处理层，所述第二处理层用于对所述第五图像处理数据执行卷积处理，然后将处理后的数据输入下一个处理层。
优选的，所述目标神经网络模型为RsesNet101模型，所述第一处理层为RsesNet101模型网络结构第四部分的最后一层处理层，所述第二处理层为RsesNet101模型网络结构第五部分的第一层处理层。
进一步的，所述视频图像提取模块可以包括：
第一分辨率转换单元，用于将所述待识别视频的分辨率转换为预设的分辨率；
时间点选取单元，用于根据所述待识别视频的视频长度选取第一数量的时间点；
视频图像提取单元，用于以每个所述时间点为起始点，分别从所述待识别视频中提取连续的多帧视频图像，得到所述第一数量的视频图像组，每个所述视频图像组包括第二数量的视频图像；
视频图像剪切单元，用于对所述视频图像组包含的每帧视频图像进行剪切，截取预设区域内的图像；
视频图像选取单元，用于从每个所述视频图像组包含的剪切后的视频图像中分别选取第三数量的视频图像，作为提取到的视频图像。
更进一步的，所述行为识别模块可以包括：
行为识别结果获取单元，用于通过所述目标神经网络模型分别获得每个所述视频图像组的行为识别结果，获取到的行为识别结果包括各个预设行为的匹配度；
加权计算单元，用于计算各个所述视频图像组的行为识别结果的加权平均值，加权的权重根据各个所述视频图像组所对应的所述时间点确定；
行为识别结果确定单元，用于将所述加权平均值中匹配度最高的行为确定为所述待识别视频的行为识别结果。
进一步的，所述视频行为识别装置还可以包括：
初始模型训练模块，用于采用kinetics数据集训练得到初始神经网络模型；
样本视频图像提取模块，用于从预先选取的样本视频中提取样本视频图像，所述样本视频的行为识别结果是已知的；
样本行为识别模块，用于将所述样本视频图像输入所述初始神经网络模型，得到样本行为识别结果；
模型参数修正模块，用于将所述样本行为识别结果和所述样本视频的行为识别结果进行比较，并根据比较的结果修正所述初始神经网络模型的参数，重复迭代直至所述样本行为识别结果和所述样本视频的行为识别结果之间的差别小于预设阈值；
目标模型确定模块，用于将参数修正完毕的所述初始神经网络模型确定为所述目标神经网络模型。
更进一步的，所述样本视频图像提取模块可以包括：
第二分辨率转换单元，用于将所述样本视频的分辨率转换为预设的分辨率；
样本时间点选取单元，用于根据所述样本视频的视频长度选取第四数量的样本时间点；
样本视频图像提取单元，用于以每个所述样本时间点为起始点，分别从所述样本视频中提取连续的多帧视频图像，得到所述第四数量的样本视频图像组，每个所述样本视频图像组包括第五数量的视频图像；
样本视频图像剪切单元，用于对所述样本视频图像组包含的每一帧视频图像分别按照左边界对齐、中部对齐和右边界对齐的方式剪切为3个视频图像；
样本视频图像选取单元，用于从每个所述样本视频图像组包含的剪切后的视频图像中分别选取第六数量的视频图像，作为提取到的样本视频图像。
本申请实施例还提供一种计算机非易失性可读存储介质，所述计算机非易失性可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如图1或图2表示的任意一种视频行为识别方法的步骤。
本申请实施例还提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如图1或图2表示的任意一种视频行为识别方法的步骤。
图4是本申请一实施例提供的服务器的示意图。如图4所示，该实施例的服务器4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42。所述处理器40执行所述计算机可读指令42时实现上述各个视频行为识别方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至303的功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

Claims (20)

  1. 一种视频行为识别方法，其特征在于，包括：
    获取待识别视频；
    从所述待识别视频中提取出多帧视频图像；
    将所述多帧视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果；
    其中，所述目标神经网络模型包括第一处理层和第二处理层，所述第一处理层和所述第二处理层为所述目标神经网络模型的网络结构中相邻的两个卷积层，所述目标神经网络将所述多帧视频图像转换为四个维度的图像数据进行处理，所述第一处理层和第二处理层之间的处理逻辑如下：
    获取所述第一处理层输出的四维矩阵格式的第一图像处理数据，所述第一处理层用于接收上一个处理层输出的图像处理数据，对接收到的图像处理数据执行卷积处理，得到所述第一图像处理数据；
    对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据；
    对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据；
    将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据；
    对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据；
    将所述第五图像处理数据输入所述第二处理层，所述第二处理层用于对所述第五图像处理数据执行卷积处理，然后将处理后的数据输入下一个处理层。
  2. 根据权利要求1所述的视频行为识别方法，其特征在于，所述对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据包括：
    将所述第一图像处理数据和预先构建的第一卷积矩阵相乘后，执行矩阵的平铺处理，得到二维矩阵格式的第六图像处理数据；
    将所述第一图像处理数据和预先构建的第二卷积矩阵相乘后，执行矩阵的平铺处理并转置，得到二维矩阵格式的第七图像处理数据，所述第一卷积矩阵和所述第二卷积矩阵均为1*1*1的卷积核，且具有不同的元素值；
    将所述第六图像处理数据和所述第七图像处理数据相乘，获得二维矩阵格式的所述第三图像处理数据。
  3. 根据权利要求1所述的视频行为识别方法，其特征在于，所述目标神经网络模型为RsesNet101模型，所述第一处理层为RsesNet101模型网络结构第四部分的最后一层处理层，所述第二处理层为RsesNet101模型网络结构第五部分的第一层处理层。
  4. 根据权利要求1所述的视频行为识别方法，其特征在于，所述从所述待识别视频中提取出多帧视频图像包括：
    将所述待识别视频的分辨率转换为预设的分辨率；
    根据所述待识别视频的视频长度选取第一数量的时间点；
    以每个所述时间点为起始点，分别从所述待识别视频中提取连续的多帧视频图像，得到所述第一数量的视频图像组，每个所述视频图像组包括第二数量的视频图像；
    对所述视频图像组包含的每帧视频图像进行剪切，截取预设区域内的图像；
    从每个所述视频图像组包含的剪切后的视频图像中分别选取第三数量的视频图像，作为提取到的视频图像。
  5. 根据权利要求4所述的视频行为识别方法，其特征在于，所述获得所述目标神经网络模型输出的行为识别结果包括：
    通过所述目标神经网络模型分别获得每个所述视频图像组的行为识别结果，获取到的行为识别结果包括各个预设行为的匹配度；
    计算各个所述视频图像组的行为识别结果的加权平均值，加权的权重根据各个所述视频图像组所对应的所述时间点确定；
    将所述加权平均值中匹配度最高的行为确定为所述待识别视频的行为识别结果。
  6. 根据权利要求1至5中任一项所述的视频行为识别方法，其特征在于，所述目标神经网络模型通过以下步骤训练得到：
    采用kinetics数据集训练得到初始神经网络模型；
    从预先选取的样本视频中提取样本视频图像，所述样本视频的行为识别结果是已知的；
    将所述样本视频图像输入所述初始神经网络模型，得到样本行为识别结果；
    将所述样本行为识别结果和所述样本视频的行为识别结果进行比较，并根据比较的结果修正所述初始神经网络模型的参数，重复迭代直至所述样本行为识别结果和所述样本视频的行为识别结果之间的差别小于预设阈值；
    将参数修正完毕的所述初始神经网络模型确定为所述目标神经网络模型。
  7. 根据权利要求6所述的视频行为识别方法，其特征在于，所述从预先选取的样本视频中提取样本视频图像包括：
    将所述样本视频的分辨率转换为预设的分辨率；
    根据所述样本视频的视频长度选取第四数量的样本时间点；
    以每个所述样本时间点为起始点，分别从所述样本视频中提取连续的多帧视频图像，得到所述第四数量的样本视频图像组，每个所述样本视频图像组包括第五数量的视频图像；
    对所述样本视频图像组包含的每一帧视频图像分别按照左边界对齐、中部对齐和右边界对齐的方式剪切为3个视频图像；
    从每个所述样本视频图像组包含的剪切后的视频图像中分别选取第六数量的视频图像，作为提取到的样本视频图像。
  8. 一种视频行为识别装置，其特征在于，包括：
    视频获取模块，用于获取待识别视频；
    视频图像提取模块，用于从所述待识别视频中提取出多帧视频图像；
    行为识别模块，用于将所述多帧视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果；
    其中，所述目标神经网络模型包括第一处理层和第二处理层，所述第一处理层和所述第二处理层为所述目标神经网络模型的网络结构中相邻的两个卷积层，所述目标神经网络将所述多帧视频图像转换为四个维度的图像数据进行处理，所述第一处理层和第二处理层之间的处理逻辑如下：
    获取所述第一处理层输出的四维矩阵格式的第一图像处理数据，所述第一处理层用于接收上一个处理层输出的图像处理数据，对接收到的图像处理数据执行卷积处理，得到所述第一图像处理数据；
    对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据；
    对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据；
    将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据；
    对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据；
    将所述第五图像处理数据输入所述第二处理层，所述第二处理层用于对所述第五图像处理数据执行卷积处理，然后将处理后的数据输入下一个处理层。
  9. 根据权利要求8所述的视频行为识别装置，其特征在于，所述视频图像提取模块包括：
    第一分辨率转换单元，用于将所述待识别视频的分辨率转换为预设的分辨率；
    时间点选取单元，用于根据所述待识别视频的视频长度选取第一数量的时间点；
    视频图像提取单元，用于以每个所述时间点为起始点，分别从所述待识别视频中提取连续的多帧视频图像，得到所述第一数量的视频图像组，每个所述视频图像组包括第二数量的视频图像；
    视频图像剪切单元，用于对所述视频图像组包含的每帧视频图像进行剪切，截取预设区域内的图像；
    视频图像选取单元，用于从每个所述视频图像组包含的剪切后的视频图像中分别选取第三数量的视频图像，作为提取到的视频图像。
  10. 根据权利要求9所述的视频行为识别装置，其特征在于，所述行为识别模块包括：
    行为识别结果获取单元，用于通过所述目标神经网络模型分别获得每个所述视频图像组的行为识别结果，获取到的行为识别结果包括各个预设行为的匹配度；
    加权计算单元，用于计算各个所述视频图像组的行为识别结果的加权平均值，加权的权重根据各个所述视频图像组所对应的所述时间点确定；
    行为识别结果确定单元，用于将所述加权平均值中匹配度最高的行为确定为所述待识别视频的行为识别结果。
  11. 根据权利要求8至10中任一项所述的视频行为识别装置，其特征在于，所述视频行为识别装置还包括：
    初始模型训练模块，用于采用kinetics数据集训练得到初始神经网络模型；
    样本视频图像提取模块，用于从预先选取的样本视频中提取样本视频图像，所述样本视频的行为识别结果是已知的；
    样本行为识别模块，用于将所述样本视频图像输入所述初始神经网络模型，得到样本行为识别结果；
    模型参数修正模块，用于将所述样本行为识别结果和所述样本视频的行为识别结果进行比较，并根据比较的结果修正所述初始神经网络模型的参数，重复迭代直至所述样本行为识别结果和所述样本视频的行为识别结果之间的差别小于预设阈值；
    目标模型确定模块，用于将参数修正完毕的所述初始神经网络模型确定为所述目标神经网络模型。
  12. 根据权利要求11所述的视频行为识别装置，其特征在于，所述样本视频图像提取模块包括：
    第二分辨率转换单元，用于将所述样本视频的分辨率转换为预设的分辨率；
    样本时间点选取单元，用于根据所述样本视频的视频长度选取第四数量的样本时间点；
    样本视频图像提取单元，用于以每个所述样本时间点为起始点，分别从所述样本视频中提取连续的多帧视频图像，得到所述第四数量的样本视频图像组，每个所述样本视频图像组包括第五数量的视频图像；
    样本视频图像剪切单元，用于对所述样本视频图像组包含的每一帧视频图像分别按照左边界对齐、中部对齐和右边界对齐的方式剪切为3个视频图像；
    样本视频图像选取单元，用于从每个所述样本视频图像组包含的剪切后的视频图像中分别选取第六数量的视频图像，作为提取到的样本视频图像。
  13. 一种计算机非易失性可读存储介质，所述计算机非易失性可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如下步骤：
    获取待识别视频；
    从所述待识别视频中提取出多帧视频图像；
    将所述多帧视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果；
    其中，所述目标神经网络模型包括第一处理层和第二处理层，所述第一处理层和所述第二处理层为所述目标神经网络模型的网络结构中相邻的两个卷积层，所述目标神经网络将所述多帧视频图像转换为四个维度的图像数据进行处理，所述第一处理层和第二处理层之间的处理逻辑如下：
    获取所述第一处理层输出的四维矩阵格式的第一图像处理数据，所述第一处理层用于接收上一个处理层输出的图像处理数据，对接收到的图像处理数据执行卷积处理，得到所述第一图像处理数据；
    对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据；
    对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据；
    将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据；
    对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据；
    将所述第五图像处理数据输入所述第二处理层，所述第二处理层用于对所述第五图像处理数据执行卷积处理，然后将处理后的数据输入下一个处理层。
  14. 根据权利要求13所述的计算机非易失性可读存储介质，其特征在于，所述对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据包括：
    将所述第一图像处理数据和预先构建的第一卷积矩阵相乘后，执行矩阵的平铺处理，得到二维矩阵格式的第六图像处理数据；
    将所述第一图像处理数据和预先构建的第二卷积矩阵相乘后，执行矩阵的平铺处理并转置，得到二维矩阵格式的第七图像处理数据，所述第一卷积矩阵和所述第二卷积矩阵均为1*1*1的卷积核，且具有不同的元素值；
    将所述第六图像处理数据和所述第七图像处理数据相乘，获得二维矩阵格式的所述第三图像处理数据。
  15. 根据权利要求13所述的计算机非易失性可读存储介质，其特征在于，所述从所述待识别视频中提取出多帧视频图像包括：
    将所述待识别视频的分辨率转换为预设的分辨率；
    根据所述待识别视频的视频长度选取第一数量的时间点；
    以每个所述时间点为起始点，分别从所述待识别视频中提取连续的多帧视频图像，得到所述第一数量的视频图像组，每个所述视频图像组包括第二数量的视频图像；
    对所述视频图像组包含的每帧视频图像进行剪切，截取预设区域内的图像；
    从每个所述视频图像组包含的剪切后的视频图像中分别选取第三数量的视频图像，作为提取到的视频图像。
  16. 根据权利要求13至15中任一项所述的计算机非易失性可读存储介质，其特征在于，所述计算机可读指令被处理器执行时还实现如下步骤：
    采用kinetics数据集训练得到初始神经网络模型；
    从预先选取的样本视频中提取样本视频图像，所述样本视频的行为识别结果是已知的；
    将所述样本视频图像输入所述初始神经网络模型，得到样本行为识别结果；
    将所述样本行为识别结果和所述样本视频的行为识别结果进行比较，并根据比较的结果修正所述初始神经网络模型的参数，重复迭代直至所述样本行为识别结果和所述样本视频的行为识别结果之间的差别小于预设阈值；
    将参数修正完毕的所述初始神经网络模型确定为所述目标神经网络模型。
  17. 一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取待识别视频；
    从所述待识别视频中提取出多帧视频图像；
    将所述多帧视频图像输入预先训练完成的目标神经网络模型，获得所述目标神经网络模型输出的行为识别结果；
    其中，所述目标神经网络模型包括第一处理层和第二处理层，所述第一处理层和所述第二处理层为所述目标神经网络模型的网络结构中相邻的两个卷积层，所述目标神经网络将所述多帧视频图像转换为四个维度的图像数据进行处理，所述第一处理层和第二处理层之间的处理逻辑如下：
    获取所述第一处理层输出的四维矩阵格式的第一图像处理数据，所述第一处理层用于接收上一个处理层输出的图像处理数据，对接收到的图像处理数据执行卷积处理，得到所述第一图像处理数据；
    对所述第一图像处理数据进行矩阵的平铺处理，获得二维矩阵格式的第二图像处理数据；
    对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据；
    将所述第三图像处理数据和所述第二图像处理数据相乘，获得二维矩阵格式的第四图像处理数据；
    对所述第四图像处理数据进行矩阵的逆平铺处理，得到四维矩阵格式的第五图像处理数据；
    将所述第五图像处理数据输入所述第二处理层，所述第二处理层用于对所述第五图像处理数据执行卷积处理，然后将处理后的数据输入下一个处理层。
  18. 根据权利要求17所述的服务器，其特征在于，所述对所述第一图像数据进行卷积处理后，执行矩阵的平铺处理，获得二维矩阵格式的第三图像处理数据包括：
    将所述第一图像处理数据和预先构建的第一卷积矩阵相乘后，执行矩阵的平铺处理，得到二维矩阵格式的第六图像处理数据；
    将所述第一图像处理数据和预先构建的第二卷积矩阵相乘后，执行矩阵的平铺处理并转置，得到二维矩阵格式的第七图像处理数据，所述第一卷积矩阵和所述第二卷积矩阵均为1*1*1的卷积核，且具有不同的元素值；
    将所述第六图像处理数据和所述第七图像处理数据相乘，获得二维矩阵格式的所述第三图像处理数据。
  19. 根据权利要求17所述的服务器，其特征在于，所述从所述待识别视频中提取出多帧视频图像包括：
    将所述待识别视频的分辨率转换为预设的分辨率；
    根据所述待识别视频的视频长度选取第一数量的时间点；
    以每个所述时间点为起始点，分别从所述待识别视频中提取连续的多帧视频图像，得到所述第一数量的视频图像组，每个所述视频图像组包括第二数量的视频图像；
    对所述视频图像组包含的每帧视频图像进行剪切，截取预设区域内的图像；
    从每个所述视频图像组包含的剪切后的视频图像中分别选取第三数量的视频图像，作为提取到的视频图像。
  20. 根据权利要求17至19中任一项所述的服务器，其特征在于，所述处理器执行所述计算机可读指令时还实现如下步骤：
    采用kinetics数据集训练得到初始神经网络模型；
    从预先选取的样本视频中提取样本视频图像，所述样本视频的行为识别结果是已知的；
    将所述样本视频图像输入所述初始神经网络模型，得到样本行为识别结果；
    将所述样本行为识别结果和所述样本视频的行为识别结果进行比较，并根据比较的结果修正所述初始神经网络模型的参数，重复迭代直至所述样本行为识别结果和所述样本视频的行为识别结果之间的差别小于预设阈值；
    将参数修正完毕的所述初始神经网络模型确定为所述目标神经网络模型。
PCT/CN2019/103174 2019-05-21 2019-08-29 一种视频行为识别方法、装置、存储介质和服务器 Ceased WO2020232886A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910422559.6 2019-05-21
CN201910422559.6A CN110222598B (zh) 2019-05-21 2019-05-21 一种视频行为识别方法、装置、存储介质和服务器

Publications (1)

Publication Number Publication Date
WO2020232886A1 true WO2020232886A1 (zh) 2020-11-26

Family

ID=67821533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103174 Ceased WO2020232886A1 (zh) 2019-05-21 2019-08-29 一种视频行为识别方法、装置、存储介质和服务器

Country Status (2)

Country Link
CN (1) CN110222598B (zh)
WO (1) WO2020232886A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560712A (zh) * 2020-12-18 2021-03-26 西安电子科技大学 基于时间增强图卷积网络的行为识别方法、装置及介质
CN112651451A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN114639057A (zh) * 2022-03-30 2022-06-17 阿里巴巴（中国）有限公司 土方量识别方法、装置及电子设备
CN115019225A (zh) * 2022-05-13 2022-09-06 深圳大学 全景视频行为识别方法、装置、设备与介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807401B (zh) * 2019-10-29 2024-08-13 腾讯科技（深圳）有限公司 用户身份识别、多用户打卡方法、装置、存储介质及设备
CN111401169A (zh) * 2020-03-06 2020-07-10 国网湖南省电力有限公司 基于监控视频信息的供电营业厅服务人员行为识别方法
CN111444895B (zh) * 2020-05-08 2024-04-19 商汤集团有限公司 视频处理方法、装置、电子设备及存储介质
CN114155594A (zh) * 2020-08-17 2022-03-08 中移(成都)信息通信科技有限公司 行为识别方法、装置、设备和存储介质
ES3033863T3 (en) * 2020-10-20 2025-08-08 Biomerieux Sa Method for classifying a sequence of input images representing a particle in a sample over time
CN112528855B (zh) * 2020-12-11 2021-09-03 南方电网电力科技股份有限公司 一种电力作业着装规范识别方法和装置
CN112818801B (zh) * 2021-01-26 2024-04-26 每步科技(上海)有限公司 运动计数方法、识别装置、识别系统及存储介质
CN113379657B (zh) * 2021-05-19 2022-11-25 上海壁仞智能科技有限公司 基于随机矩阵的图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740773A (zh) * 2016-01-25 2016-07-06 重庆理工大学 基于深度学习和多尺度信息的行为识别方法
CN107220611A (zh) * 2017-05-23 2017-09-29 上海交通大学 一种基于深度神经网络的空时特征提取方法
CN107886061A (zh) * 2017-11-02 2018-04-06 华南理工大学 基于多模态深度玻尔兹曼机的人体行为识别方法及系统
CN108241849A (zh) * 2017-08-28 2018-07-03 北方工业大学 基于视频的人体交互动作识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239706A1 (en) * 2015-02-13 2016-08-18 Qualcomm Incorporated Convolution matrix multiply with callback for deep tiling for deep convolutional neural networks
CN105787488B (zh) * 2016-03-02 2019-04-30 浙江宇视科技有限公司 由全局向局部传递的图像特征提取方法及装置
CN108304847B (zh) * 2017-11-30 2021-09-28 腾讯科技（深圳）有限公司 图像分类方法及装置、个性化推荐方法及装置
CN108171247B (zh) * 2017-12-21 2020-10-27 北京大学 一种车辆再识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740773A (zh) * 2016-01-25 2016-07-06 重庆理工大学 基于深度学习和多尺度信息的行为识别方法
CN107220611A (zh) * 2017-05-23 2017-09-29 上海交通大学 一种基于深度神经网络的空时特征提取方法
CN108241849A (zh) * 2017-08-28 2018-07-03 北方工业大学 基于视频的人体交互动作识别方法
CN107886061A (zh) * 2017-11-02 2018-04-06 华南理工大学 基于多模态深度玻尔兹曼机的人体行为识别方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560712A (zh) * 2020-12-18 2021-03-26 西安电子科技大学 基于时间增强图卷积网络的行为识别方法、装置及介质
CN112560712B (zh) * 2020-12-18 2023-05-26 西安电子科技大学 基于时间增强图卷积网络的行为识别方法、装置及介质
CN112651451A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN112651451B (zh) * 2020-12-30 2023-08-11 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN114639057A (zh) * 2022-03-30 2022-06-17 阿里巴巴（中国）有限公司 土方量识别方法、装置及电子设备
CN115019225A (zh) * 2022-05-13 2022-09-06 深圳大学 全景视频行为识别方法、装置、设备与介质

Also Published As

Publication number Publication date
CN110222598A (zh) 2019-09-10
CN110222598B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
WO2020232886A1 (zh) 一种视频行为识别方法、装置、存储介质和服务器
US11870947B2 (en) Generating images using neural networks
CN111192292B (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
JP6843086B2 (ja) 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体
EP3709267A1 (en) Image processing method, processing apparatus and processing device
CN113837191B (zh) 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN103279936A (zh) 基于画像的人脸伪照片自动合成及修正方法
WO2023010831A1 (zh) 提高图像分辨率的方法、系统、装置及存储介质
CN111652238B (zh) 一种多模型集成方法及系统
CN113592881A (zh) 图片指代性分割方法、装置、计算机设备和存储介质
CN117036948B (zh) 一种基于注意力机制的致敏植物识别方法
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
Xu et al. Missing data reconstruction in VHR images based on progressive structure prediction and texture generation
CN116740078A (zh) 图像分割处理方法、装置、设备以及介质
CN113569846A (zh) 一种文本图像方向矫正方法、装置及电子设备
CN116703724A (zh) 一种基于知识蒸馏的转置注意力图像超分辨率算法
CN119359560B (zh) 基于改进归一化流的低照度图像增强方法及装置
CN114332567A (zh) 训练样本的获取方法、装置、计算机设备及存储介质
KR102340387B1 (ko) 뇌 연결성 학습 방법 및 이를 위한 시스템
CN116797537B (zh) 农作物病虫害检测方法、装置、设备及存储介质
CN118365520A (zh) 用于图像超分辨率重建的改进生成对抗网络的构建方法
CN114241223B (zh) 视频相似度确定方法、装置、电子设备及存储介质
CN115393491B (zh) 一种基于实例分割和参考帧的水墨视频生成方法及装置
CN117876819A (zh) 图像处理方法、装置、设备及存储介质
CN119887830B (zh) 基于查询特征增强与图注意力机制的小样本医学图像分割方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929959

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19929959

Country of ref document: EP

Kind code of ref document: A1