WO2022166258A1 - 行为识别方法、装置、终端设备及计算机可读存储介质 - Google Patents

行为识别方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2022166258A1
WO2022166258A1 PCT/CN2021/124610 CN2021124610W WO2022166258A1 WO 2022166258 A1 WO2022166258 A1 WO 2022166258A1 CN 2021124610 W CN2021124610 W CN 2021124610W WO 2022166258 A1 WO2022166258 A1 WO 2022166258A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
dimensional
data
video data
clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/124610
Other languages
English (en)
French (fr)
Inventor
林灿然
程骏
郭渺辰
邵池
张惊涛
钱程浩
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Publication of WO2022166258A1 publication Critical patent/WO2022166258A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Definitions

  • the present application belongs to the technical field of image processing, and in particular, relates to a method, apparatus, terminal device and computer-readable storage medium for behavior recognition.
  • Video-based behavior recognition technology refers to a technology that recognizes the type of behavior in a video by analyzing video data. Since the video is composed of multiple frames of images in time series, compared with the two-dimensional data of the image, the video adds data in the time series dimension. Therefore, the video-based behavior recognition technology needs to analyze and process the three-dimensional data of the video.
  • the embodiments of the present application provide a behavior recognition method, apparatus, terminal device, and computer-readable storage medium, which can reduce the data processing amount of video behavior recognition and improve the recognition accuracy.
  • an embodiment of the present application provides a behavior recognition method, including:
  • a final action recognition result of the video to be processed is determined according to the respective initial action recognition results of the plurality of video segments.
  • converting the three-dimensional video data of the video to be processed into two-dimensional video data is equivalent to converting the three-dimensional data processing task of the video into a two-dimensional data processing task, which greatly reduces the amount of data processing;
  • the video data contains time series features. Therefore, the above method can not only extract the image feature information of the video, but also can extract the time series feature information between the images in the video. It can effectively improve the accuracy of the recognition results.
  • the acquiring the respective 3D video data of multiple video segments in the video to be processed includes:
  • the 3D video data of the video clip is generated according to the pixels on each frame image included in the video clip, wherein the size of the 3D video data is H ⁇ W ⁇ T,
  • the H is the number of pixels included in the width direction of each frame image in the video clip
  • the W is the number of pixels included in the length direction of each frame image in the video clip
  • the T is the The number of frames of the image contained in the video clip.
  • the converting the three-dimensional video data of each of the video segments into two-dimensional video data includes:
  • each two-dimensional data in the three-dimensional video data of the video clip is combined into a set of the two-dimensional video data, and three sets of the two-dimensional video data of the video clip are obtained.
  • the determining the respective initial behavior recognition results of the multiple video segments according to the respective two-dimensional video data of the multiple video segments includes:
  • the initial behavior recognition result of the video clip is determined according to the fusion feature information of the video clip.
  • the fusion of the respective initial feature information of the three sets of the two-dimensional video data of the video clip into the fusion feature information of the video clip includes:
  • the respective initial feature information of the three groups of the two-dimensional video data of the video clip is spliced into a feature splicing vector
  • the initial behavior result of the video clip includes a behavior type to which the video clip belongs;
  • the determining the final behavior recognition result of the video to be processed according to the respective initial behavior recognition results of the multiple video clips includes:
  • the target type is determined as the final action recognition result of the video to be processed.
  • an embodiment of the present application provides a behavior recognition device, including:
  • a data acquisition unit for acquiring the respective 3D video data of multiple video clips in the video to be processed
  • a data conversion unit for converting the three-dimensional video data of each of the video segments into two-dimensional video data
  • a segment identification unit configured to determine the respective initial behavior identification results of the multiple video segments according to the respective two-dimensional video data of the multiple video segments;
  • An identification result unit configured to determine a final action identification result of the video to be processed according to the respective initial action identification results of the plurality of video segments.
  • an embodiment of the present application provides a terminal device, including a memory, a processor, and a computer program stored in the memory and executable on the processor, wherein the processor executes all
  • the behavior recognition method according to any one of the above-mentioned first aspect is realized when the computer program is used.
  • an embodiment of the present application provides a computer-readable storage medium, and an embodiment of the present application provides a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, wherein the When the computer program is executed by the processor, the behavior recognition method according to any one of the above-mentioned first aspects is implemented.
  • an embodiment of the present application provides a computer program product, which, when the computer program product runs on a terminal device, enables the terminal device to execute the behavior recognition method described in any one of the above-mentioned first aspects.
  • FIG. 1 is a schematic flowchart of a behavior recognition method provided by an embodiment of the present application.
  • FIG. 2 is a schematic diagram of a data processing flow of behavior recognition provided by an embodiment of the present application.
  • FIG. 3 is a schematic diagram of a data conversion process provided by an embodiment of the present application.
  • FIG. 4 is a structural block diagram of a behavior recognition device provided by an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a terminal device provided by an embodiment of the present application.
  • references in this specification to "one embodiment” or “some embodiments” and the like mean that a particular feature, structure or characteristic described in connection with the embodiment is included in one or more embodiments of the present application.
  • appearances of the phrases “in one embodiment,” “in some embodiments,” “in other embodiments,” “in other embodiments,” etc. in various places in this specification are not necessarily All refer to the same embodiment, but mean “one or more but not all embodiments” unless specifically emphasized otherwise.
  • FIG. 1 it is a schematic flowchart of a behavior recognition method provided by an embodiment of the present application.
  • the method may include the following steps:
  • S101 Acquire three-dimensional video data of each of multiple video segments in the video to be processed.
  • the pixels in an image constitute two-dimensional data.
  • the size of the two-dimensional data is H ⁇ W, where H is the number of pixels included in the width direction of the image, and W is the number of pixels included in the length direction of the image.
  • H is the number of pixels included in the width direction of the image
  • W is the number of pixels included in the length direction of the image.
  • an image contains 10 pixels in the length direction and 5 pixels in the width direction
  • the size of the two-dimensional data of the image is 5 ⁇ 10, that is, the image contains 50 pixels
  • These 50 pixels constitute 5 ⁇ 10 two-dimensional data
  • this set of two-dimensional data contains the feature information of the image.
  • Video is composed of multiple frames of images arranged in time series. Compared with images, video has more feature information in the time series dimension. That is, on the basis of the two-dimensional data of the image, one-dimensional time series data is added. Therefore, video can be described by three-dimensional data.
  • three-dimensional video data of the video to be processed may be generated according to images of all frames in the video to be processed.
  • the video to be processed may be sampled, and the pixels of the image obtained by sampling constitute three-dimensional video data of the video to be processed. For example, if there are 100 frames of images in the video to be processed, sampling is performed at intervals of 4 frames of images, 20 frames of images are extracted, and the pixels of these 20 frames of images constitute the three-dimensional video data of the video to be processed.
  • sampling frequency is high, the number of images obtained is large, and the data processing volume is still large; if the sampling frequency is low, the obtained image data is less, and the data processing volume is small, but more image information will be lost.
  • the method of acquiring the 3D video data of each video segment includes:
  • each video clip includes multiple frames of images; for each video clip, generate three-dimensional video data of the video clip according to the pixels on each frame image contained in the video clip .
  • the size of the 3D video data is H ⁇ W ⁇ T
  • H is the number of pixels included in the width direction of each frame image in the video clip
  • W is the number of pixels included in the length direction of each frame image in the video clip
  • T is the number of frames of images contained in the video clip.
  • the video frame extraction process can be to extract a frame of images every n frames of images, and then divide the extracted images into multiple image groups according to the time sequence, each image group is a video segment; it can also be extracted every n frames of images. M frames of images are determined as a video segment.
  • the identification process provides a reliable data base.
  • FIG. 2 it is a schematic diagram of a data processing flow of behavior recognition provided by an embodiment of the present application.
  • the video to be processed is used as the input video, and the size of the video to be processed is 3 ⁇ H ⁇ W ⁇ L.
  • L is the total number of frames of images contained in the video to be processed; 3 represents the three color channels of RGB, and the information of the three color channels can be reflected in the pixel value. Therefore, the size 3 can be ignored, that is, the size of the video to be processed is 3.
  • Dimensions are H ⁇ W ⁇ L.
  • Perform frame extraction and combination on the input video that is, video frame extraction processing, as shown in FIG. 2, taking T frames as a group) to obtain multiple video clips, and the size of each video clip is H ⁇ W ⁇ T.
  • S102 Convert the three-dimensional video data of each video segment into two-dimensional video data.
  • an implementation manner of converting three-dimensional video data into two-dimensional video data is: adding data in one dimension of the three-dimensional video data to the other two dimensions to form two-dimensional video data.
  • FIG. 3 is a schematic diagram of a data conversion process provided by an embodiment of the present application.
  • a video segment includes 4 frames of images I, II, III, and IV, and the 4 frames of images are combined according to time series. Now splicing the 4 images into a large spliced image V, the pixels on this large spliced image v constitute the two-dimensional video data of the video clip.
  • an implementation manner of converting three-dimensional video data into two-dimensional video data is:
  • each two-dimensional data in the three-dimensional video data of the video clip is combined into a set of two-dimensional video data to obtain three sets of two-dimensional video data of the video clip.
  • the three-dimensional video data H ⁇ W ⁇ T is divided into three sets of two-dimensional video data of H ⁇ W, H ⁇ T and W ⁇ T.
  • the 3D video data can be regarded as A large cuboid
  • each pixel in each frame of image can be regarded as a voxel of a large cuboid (ie, a small cuboid)
  • the cuboid marked as 1 in the figure represents the pixel in the first frame of the video clip
  • marked A cube with a value of 2 represents a pixel in the second frame of the video clip
  • a cube marked with 4 represents a pixel in the fourth frame of the video clip).
  • the three-dimensional video data is split into a group of 2 ⁇ 3 two-dimensional video data, and the group includes the pixels on the cross-section of abcd in the cuboid.
  • the 3D video data is split into a set of 2 ⁇ 4 2D video data, which includes pixels on the cross-section of the abef in the cuboid.
  • the 3D video data is split into a set of 3 ⁇ 4 2D video data, which includes the pixels on the bcge cross-section in the cuboid.
  • S103 Determine respective initial behavior recognition results of the multiple video segments according to the respective two-dimensional video data of the multiple video segments.
  • three sets of two-dimensional video data of the video clip can be input into the recognition model after training, and the initial behavior recognition result of the video clip can be output.
  • the input data of the recognition model are three sets of two-dimensional data, and there are many input data.
  • the amount of data processing is relatively large.
  • the implementation of S103 includes:
  • For each video clip extract the respective initial feature information of the three groups of two-dimensional video data of the video clip; fuse the respective initial feature information of the three groups of two-dimensional video data of the video clip into the fusion feature information of the video clip; The feature information is fused to determine the initial behavior recognition result of the video clip.
  • three groups of two-dimensional video data are respectively subjected to two-dimensional convolution processing to obtain initial feature information of each group of two-dimensional video data. For example, perform 3 ⁇ 3 ⁇ 1 convolution processing and 3 ⁇ 3 ⁇ 1 pooling processing on the two-dimensional data H ⁇ W to obtain 1 ⁇ 1 initial feature information. Since the T dimension of the two-dimensional data is 1, it is actually equivalent to performing 3 ⁇ 3 two-dimensional convolution processing and two-dimensional pooling processing on the two-dimensional data H ⁇ W.
  • the process of fusing the respective initial feature information of the three groups of two-dimensional video data into the fusion feature information includes:
  • the initial feature information of the three groups of two-dimensional video data of the video clip is spliced into a feature splicing vector; the average pooling process is performed on the feature splicing vector to obtain the pooled feature information; the pooled feature vector is converted according to the preset number of behavior categories. size to obtain fusion feature information.
  • the initial feature information of each of the three groups of two-dimensional video data is a value of 1 ⁇ 1.
  • C out 3, ie three color channels of RGB.
  • average pooling is used to obtain pooled feature information of size C out ⁇ 1 ⁇ 1 ⁇ 1.
  • the dimension of C out is changed to k (where k represents the preset number of behavior categories, that is, the number of categories of behaviors to be recognized), and the fusion feature information of size k ⁇ 1 ⁇ 1 is obtained.
  • the probability value of the fusion feature information belonging to various behavior categories is calculated through the softmax layer, and the behavior category corresponding to the maximum probability value is determined as the initial recognition result of the video clip.
  • S104 Determine a final behavior recognition result of the video to be processed according to the respective initial behavior recognition results of the multiple video segments.
  • the initial behavior result of the video clip includes the behavior type to which the video clip belongs.
  • voting may be used to determine the final behavior recognition result of the video to be processed according to the initial behavior recognition result.
  • the video to be processed includes 3 video clips, the behavior category to which the first video clip belongs is A, the behavior category to which the second video clip belongs is B, and the behavior category to which the third video clip belongs is A.
  • the number of video clips belonging to behavior category A is 2, and the number of video clips belonging to behavior category B is 1. Therefore, the target type is A, that is, the final behavior result of the video to be processed is A.
  • converting the three-dimensional video data of the video to be processed into two-dimensional video data is equivalent to converting the three-dimensional data processing task of the video into a two-dimensional data processing task, which greatly reduces the amount of data processing;
  • the video data contains time series features. Therefore, the above method can not only extract the image feature information of the video, but also can extract the time series feature information between the images in the video. It can effectively improve the accuracy of the recognition results.
  • FIG. 4 is a structural block diagram of the behavior recognition apparatus provided by the embodiment of the present application. For convenience of description, only the part related to the embodiment of the present application is shown.
  • the device includes:
  • the data acquisition unit 41 is configured to acquire the respective three-dimensional video data of multiple video segments in the video to be processed.
  • the data conversion unit 42 is configured to convert the three-dimensional video data of each of the video segments into two-dimensional video data.
  • the segment identification unit 43 is configured to determine the respective initial behavior identification results of the multiple video segments according to the respective two-dimensional video data of the multiple video segments.
  • the identification result unit 44 is configured to determine the final action identification result of the video to be processed according to the respective initial action identification results of the plurality of video segments.
  • the data acquisition unit 41 is also used for:
  • the video clips include multiple frames of images; for each of the video clips, according to each frame included in the video clip
  • the pixels on the image generate the three-dimensional video data of the video clip, wherein the size of the three-dimensional video data is H ⁇ W ⁇ T, and the H is the width of each frame of the video clip included in the width direction.
  • the data conversion unit 42 is also used for:
  • each two-dimensional data in the three-dimensional video data of the video clip is combined into a set of the two-dimensional video data, and three sets of the two-dimensional video data of the video clip are obtained.
  • segment identification unit 43 is also used for:
  • each of the video clips For each of the video clips, extract the respective initial feature information of the three sets of the two-dimensional video data of the video clip; fuse the respective initial feature information of the three sets of the two-dimensional video data of the video clip is the fusion feature information of the video clip; the initial behavior recognition result of the video clip is determined according to the fusion feature information of the video clip.
  • segment identification unit 43 is also used for:
  • the initial behavior result of the video clip includes a behavior type to which the video clip belongs.
  • the identification result unit 44 is also used for:
  • the behavior recognition device shown in FIG. 4 may be a software unit, a hardware unit, or a unit combining software and hardware built into the existing terminal equipment, or it may be integrated into the terminal equipment as an independent pendant, or it may be Exist as an independent terminal device.
  • FIG. 5 is a schematic structural diagram of a terminal device provided by an embodiment of the present application.
  • the terminal device 5 in this embodiment includes: at least one processor 50 (only one is shown in FIG. 5 ), a processor 51 , and a processor 51 stored in the memory 51 and capable of processing in the at least one processor
  • a computer program 52 running on the processor 50 when the processor 50 executes the computer program 52, the steps in any of the above-mentioned embodiments of the behavior recognition method are implemented.
  • the terminal device may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the terminal device may include, but is not limited to, a processor and a memory.
  • FIG. 5 is only an example of the terminal device 5, and does not constitute a limitation on the terminal device 5. It may include more or less components than the one shown, or combine some components, or different components , for example, may also include input and output devices, network access devices, and the like.
  • the so-called processor 50 may be a central processing unit (Central Processing Unit, CPU), and the processor 50 may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuits) , ASIC), off-the-shelf programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • a general purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
  • the memory 51 may be an internal storage unit of the terminal device 5 in some embodiments, such as a hard disk or a memory of the terminal device 5 .
  • the memory 51 may also be an external storage device of the terminal device 5 in other embodiments, such as a plug-in hard disk equipped on the terminal device 5, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, flash memory card (Flash Card), etc.
  • the memory 51 may also include both an internal storage unit of the terminal device 5 and an external storage device.
  • the memory 51 is used to store an operating system, an application program, a boot loader (Boot Loader), data, and other programs, such as program codes of the computer program, and the like.
  • the memory 51 can also be used to temporarily store data that has been output or will be output.
  • Embodiments of the present application further provide a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and when the computer program is executed by a processor, the steps in the foregoing method embodiments can be implemented.
  • the embodiments of the present application provide a computer program product, when the computer program product runs on a terminal device, so that the terminal device can implement the steps in the foregoing method embodiments when executed.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as an independent product, may be stored in a computer-readable storage medium.
  • the present application realizes all or part of the processes in the methods of the above embodiments, which can be completed by instructing the relevant hardware through a computer program, and the computer program can be stored in a computer-readable storage medium.
  • the computer program includes computer program code
  • the computer program code may be in the form of source code, object code, executable file or some intermediate form, and the like.
  • the computer-readable medium may include at least: any entity or device capable of carrying the computer program code to the device/terminal device, a recording medium, a computer memory, a read-only memory (ROM, Read-Only Memory), a random access memory (RAM, Random Access Memory), electrical carrier signals, telecommunication signals, and software distribution media.
  • ROM read-only memory
  • RAM Random Access Memory
  • electrical carrier signals telecommunication signals
  • software distribution media For example, U disk, mobile hard disk, magnetic disk or CD, etc.
  • computer-readable media may not be electrical carrier signals and telecommunications signals.
  • the disclosed apparatus/terminal device and method may be implemented in other manners.
  • the apparatus/terminal device embodiments described above are only illustrative.
  • the division of the modules or units is only a logical function division. In actual implementation, there may be other division methods, such as multiple units. Or components may be combined or may be integrated into another system, or some features may be omitted, or not implemented.
  • the shown or discussed mutual coupling or direct coupling or communication connection may be through some interfaces, indirect coupling or communication connection of devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请适用于图像处理技术领域，提供了一种行为识别方法、装置、终端设备及计算机可读存储介质，包括：获取待处理视频中的多个视频片段各自的三维视频数据；将每个所述视频片段的所述三维视频数据转换为二维视频数据；根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果；根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果。通过上述方法，能够有效减少视频行为识别任务中的数据处理量，同时提高行为识别结果的准确率。

Description

行为识别方法、装置、终端设备及计算机可读存储介质
本申请要求于2021年02月05日在中国专利局提交的、申请号为202110160081.1的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于图像处理技术领域，尤其涉及一种行为识别方法、装置、终端设备及计算机可读存储介质。
背景技术
基于视频的行为识别技术是指，通过对视频数据的分析，识别出视频中的行为类型的技术。由于视频是由多帧图像按照时序组合而成的，相比于图像的二维数据，视频增加了时序维度上的数据。因此，基于视频的行为识别技术需要对视频的三维数据进行分析处理。
随着深度学习技术的发展，该项技术逐渐渗透到基于视频的行为识别技术中。现有技术中，在图像识别任务中2D卷积处理的基础上，扩展到3D卷积处理，即利用3D卷积处理方法处理视频的三维数据。但是这种方法数据处理量较大，网络训练时难以收敛，无法保证识别结果的准确率。
技术问题
本申请实施例提供了一种行为识别方法、装置、终端设备及计算机可读存储介质，可以减少视频行为识别的数据处理量、提高识别准确率。
技术解决方案
第一方面，本申请实施例提供了一种行为识别方法，包括：
获取待处理视频中的多个视频片段各自的三维视频数据；
将每个所述视频片段的所述三维视频数据转换为二维视频数据；
根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果；
根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果。
在本申请实施例中，将待处理视频的三维视频数据转换为二维视频数据，相当于将视频的三维数据处理任务转换为了二维数据处理任务，大大减少了数据处理量；另外，由于三维视频数据中包含了时序特征，因此，上述方法中不仅能够提取出视频的图像特征信息，还能够提取出视频中图像之间的时序特征信息，根据图像特征信息和时许特征信息综合识别视频中的行为类别，有效提高了识别结果的准确度。
在第一方面的一种可能的实现方式中，所述获取待处理视频中的多个视频片段各自的三维视频数据，包括：
对所述待处理视频进行视频抽帧处理，获得所述多个视频片段，其中，所述视频片段中包括多帧图像；
对于每个所述视频片段，根据所述视频片段中包含的各帧图像上的像素生成所述视频片段的所述三维视频数据，其中，所述三维视频数据的尺寸为H×W×T，所述H为所述视频片段中各帧图像在宽度方向上包含的像素个数，所述W为所述视频片段中各帧图像在长度方向上包含的像素个数，所述T为所述视频片段中包含的图像的帧数。
在第一方面的一种可能的实现方式中，所述将每个所述视频片段的所述三维视频数据转换为二维视频数据，包括：
对于每个所述视频片段，将所述视频片段的所述三维视频数据中的每两维数据组合成一组所述二维视频数据，获得所述视频片段的三组所述二维视频数据。
在第一方面的一种可能的实现方式中，所述根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果，包括：
对于每个所述视频片段，提取所述视频片段的三组所述二维视频数据各自的初始特征信息；
将所述视频片段的三组所述二维视频数据各自的所述初始特征信息融合为所述视频片段的融合特征信息；
根据所述视频片段的所述融合特征信息确定所述视频片段的初始行为识别结果。
在第一方面的一种可能的实现方式中，所述将所述视频片段的三组所述二维视频数据各自的所述初始特征信息融合为所述视频片段的融合特征信息，包括：
将所述视频片段的三组所述二维视频数据各自的所述初始特征信息拼接为特征拼接向量；
对所述特征拼接向量进行平均池化处理，得到池化特征信息；
根据预设的行为类别数量转换所述池化特征向量的尺寸，获得所述融合特征信息。
在第一方面的一种可能的实现方式中，所述视频片段的所述初始行为结果包括所述视频片段所属的行为类型；
所述根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果，包括：
根据所述多个视频片段各自的所述初始行为结果统计属于每种所述行为类型的所述视频片段的片段个数；
根据所述行为类型对应的所述片段个数，确定所述多个视频片段各自对应的所述行为类型中的目标类型；
将所述目标类型确定为所述待处理视频的所述最终行为识别结果。
第二方面，本申请实施例提供了一种行为识别装置，包括：
数据获取单元，用于获取待处理视频中的多个视频片段各自的三维视频数据；
数据转换单元，用于将每个所述视频片段的所述三维视频数据转换为二维视频数据；
片段识别单元，用于根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果；
识别结果单元，用于根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的行为识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的行为识别方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的行为识别方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的行为识别方法的流程示意图；
图2是本申请实施例提供的行为识别的数据处理流程示意图；
图3是本申请实施例提供的数据转换过程的示意图；
图4是本申请实施例提供的行为识别装置的结构框图；
图5是本申请实施例提供的终端设备的结构示意图。
本发明的实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
参见图1，是本申请实施例提供的行为识别方法的流程示意图。作为示例而非限定，所述方法可以包括以下步骤：
S101，获取待处理视频中的多个视频片段各自的三维视频数据。
一幅图像中的像素构成了二维数据，二维数据的尺寸为H×W，H为图像在宽度方向上包含的像素个数，W为图像在长度方向上包含的像素个数。例如，一幅图像中长度方向上包含的像素个数为10，宽度方向上包含的像素个数为5，该图像的二维数据的尺寸为5×10，即该图像中包含50个像素，这50个像素组成了5×10的二维数据，这一组二维数据中包含了该图像的特征信息。
视频是由多帧图像按照时序排列而成，相比于图像，视频多了时序维度的特征信息。即在图像的二维数据的基础上，增加了一维时序数据。因此，视频可以由三维数据来描述。
可选的，可以根据待处理视频中所有帧的图像生成待处理视频的三维视频数据。
但实际应用中，一段视频中相邻的几帧图像中通常包含相同或相似的内容。如果将待处理视频中所有帧图像的像素均包含在三维视频数据中，将会造成大量的数据冗余，后续的数据处理量也会较大。
为了降低待处理视频本身的数据冗余，可选的，可以对待处理视频进行抽样，将抽样得到的图像的像素构成待处理视频的三维视频数据。例如：待处理视频中有100帧图像，以4帧图像为间隔进行抽样，抽出20帧图像，将这20帧图像的像素构成待处理视频的三维视频数据。
如果抽样频率较高，得到的图像数量较多，数据处理量仍然较大；如果抽样频率较低，得到的图像数据较少，数据处理量较少，但是也会丢失较多的图像信息。
为了在减少数据处理量的同时，保留较多的图像信息，在本申请实施例中，获取每个视频片段的三维视频数据的方式包括：
对待处理视频进行视频抽帧处理，获得多个视频片段，每个视频片段中包括多帧图像；对于每个视频片段，根据视频片段中包含的各帧图像上的像素生成视频片段的三维视频数据。
其中，三维视频数据的尺寸为H×W×T，H为视频片段中各帧图像在宽度方向上包含的像素个数，W为视频片段中各帧图像在长度方向上包含的像素个数，T为视频片段中包含的图像的帧数。
视频抽帧处理，可以是每隔n帧图像抽取一帧图像，然后将抽取得到的图像按照时序划分为多个图像组，每个图像组为一个视频片段；还可以是每隔n帧图像抽取m帧图像，将这m帧图像确定为一个视频片段。
通过上述方法，不仅通过视频抽帧处理减少了待处理视频本身的数据冗余，还将抽取的图像划分为视频片段，以保留了相邻图像之间的时序特征信息和图像相关信息，为后续的识别过程提供可靠的数据基础。
参见图2，是本申请实施例提供的行为识别的数据处理流程示意图。如图2所示，将待处理视频作为输入视频，待处理视频的尺寸为3×H×W×L。其中，L为待处理视频中包含的图像的总帧数；3表示RGB三个颜色通道，在像素值中可以体现三个颜色通道的信息，因此，可以忽略该尺寸3，即待处理视频的尺寸为H×W×L。对输入视频进行抽帧组合(即视频抽帧处理，如图2中的以T帧为一组)，获得多个视频片段，每个视频片段的尺寸为H×W×T。
S102，将每个视频片段的三维视频数据转换为二维视频数据。
可选的，三维视频数据转换为二维视频数据的一种实现方式为：将三维视频数据中某一维度上的数据添加到另外两个维度上，以构成二维视频数据。
例如，参见图3，是本申请实施例提供的数据转换过程的示意图。
如图3的(a)所示，一个视频片段中包含4帧图像I、II、III、IV，4帧图像按照时序组合。现将4张图像拼接为一幅大的拼接图像V，这张大的拼接图像v上的像素构成了视频片段的二维视频数据。
从上述事例中可以看出，上述方式虽然能够保留图像信息，但是无法保留图像之间的时序信息。
为了同时保留图像信息和时序信息，在本申请实施例中，三维视频数据转换为二维视频数据的一种实现方式为：
对于每个视频片段，将视频片段的三维视频数据中的每两维数据组合成一组二维视频数据，获得视频片段的三组二维视频数据。
具体的，如图2所示，将三维视频数据H×W×T拆分为H×W、H×T和W×T这三组二维视频数据。
示例性的，如图3中的(b)所示，一个视频片段中包含4帧图像I、II、III、IV，假设每帧图像的尺寸为2×3(即H＝2，W＝3，T＝4，每帧图像中包含6个像素)，该视频片段的三维视频数据的尺寸为2×3×4(如图3中的(c)所示，该三维视频数据可以看作是一个大的长方体，每帧图像中的各个像素可以看作是大的长方体的体素(即小的正方体)，如图中标记为1的正方体表示视频片段的第1帧图像中的像素，标记为2的正方体表示视频片段的第2帧图像中的像素，以此类推，标记为4的正方体表示视频片段的第4帧图像中的像素)。
如图3中的(c)所示，将三维视频数据拆分为一组2×3的二维视频数据，该组中包括长方体中abcd横截面上的像素。将三维视频数据拆分为一组2×4的二维视频数据，该组中包括长方体中abef横截面上的像素。将三维视频数据拆分为一组3×4的二维视频数据，该组中包括长方体中bcge横截面上的像素。
S103，根据多个视频片段各自的二维视频数据确定多个视频片段各自的初始行为识别结果。
对于每个视频片段，可以将该视频片段的三组二维视频数据输入到训练后到识别模型中，输出该视频片段的初始行为识别结果。
但是上述方法中，识别模型的输入数据为三组二维数据，输入数据较多，在训练识别模型时，数据处理量较大。
为了解决上述问题，在一个实施例中，S103的实现方式包括：
对于每个视频片段，提取视频片段的三组二维视频数据各自的初始特征信息；将视频 片段的三组二维视频数据各自的初始特征信息融合为视频片段的融合特征信息；根据视频片段的融合特征信息确定视频片段的初始行为识别结果。
示例性的，如图2所示，对三组二维视频数据分别进行二维卷积处理，获得每组二维视频数据的初始特征信息。例如：对二维数据H×W进行3×3×1的卷积处理和3×3×1的池化处理，获得1×1的初始特征信息。由于该二维数据的T维度为1，因此，实际上相当于对二维数据H×W进行3×3的二维卷积处理和二维池化处理。同理，对于H×T的二维视频数据，使用3×1×3的卷积处理和3×1×3的池化处理；对于W×T的二维视频数据，使用1×3×3的卷积处理和1×3×3的池化处理。
需要说明的是，上述只是初始特征信息的获取方式的示例。实际应用中，对每组二维视频数据均可以进行多次卷积处理和池化处理，在此不做具体限定。
可选的，将三组二维视频数据各自的初始特征信息融合为融合特征信息的过程包括：
将视频片段的三组二维视频数据各自的初始特征信息拼接为特征拼接向量；对特征拼接向量进行平均池化处理，得到池化特征信息；根据预设的行为类别数量转换池化特征向量的尺寸，获得融合特征信息。
如图2所示，三组二维视频数据各自的初始特征信息为1×1的数值，通过Concat操作，将初始特征信息拼接在一起，得到尺寸为C out×1×1×3的特征拼接向量，其中，C out＝3，即RGB三个颜色通道。然后在特征信息拼接的维度上，使用平均池化处理，得到尺寸为C out×1×1×1的池化特征信息。通过一个全连接层，将C out维度改变为k(其中k表示预设的行为类别数量，即所需识别的行为的类别数)，得到尺寸为k×1×1×1的融合特征信息。最后通过softmax层计算出该融合特征信息属于各种行为类别的概率值，并将最大概率值对应的行为类别确定为视频片段的初始识别结果。
S104，根据多个视频片段各自的初始行为识别结果确定待处理视频的最终行为识别结果。
其中，视频片段的初始行为结果包括视频片段所属的行为类型。
可选的，可以采用投票的方式，根据初始行为识别结果确定待处理视频的最终行为识别结果。具体的：
根据多个视频片段各自的初始行为结果统计属于每种行为类型的视频片段的片段个数；根据行为类型对应的片段个数，确定多个视频片段各自对应的行为类型中的目标类型；将目标类型确定为待处理视频的最终行为识别结果。
示例性的，待处理视频中包含3个视频片段，第一个视频片段所属的行为类别为A，第二个视频片段所属的行为类别为B，第三个视频片段所属的行为类别为A。属于行为类别A的视频片段的片段个数为2，属于行为类别B的视频片段段片段个数为1，因此，目标类型为A，即待处理视频的最终行为结果为A。
在本申请实施例中，将待处理视频的三维视频数据转换为二维视频数据，相当于将视频的三维数据处理任务转换为了二维数据处理任务，大大减少了数据处理量；另外，由于三维视频数据中包含了时序特征，因此，上述方法中不仅能够提取出视频的图像特征信息，还能够提取出视频中图像之间的时序特征信息，根据图像特征信息和时许特征信息综合识别视频中的行为类别，有效提高了识别结果的准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的行为识方法，图4是本申请实施例提供的行为识别装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，该装置包括：
数据获取单元41，用于获取待处理视频中的多个视频片段各自的三维视频数据。
数据转换单元42，用于将每个所述视频片段的所述三维视频数据转换为二维视频数据。
片段识别单元43，用于根据所述多个视频片段各自的所述二维视频数据确定所述多个 视频片段各自的初始行为识别结果。
识别结果单元44，用于根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果。
可选的，数据获取单元41还用于：
对所述待处理视频进行视频抽帧处理，获得所述多个视频片段，其中，所述视频片段中包括多帧图像；对于每个所述视频片段，根据所述视频片段中包含的各帧图像上的像素生成所述视频片段的所述三维视频数据，其中，所述三维视频数据的尺寸为H×W×T，所述H为所述视频片段中各帧图像在宽度方向上包含的像素个数，所述W为所述视频片段中各帧图像在长度方向上包含的像素个数，所述T为所述视频片段中包含的图像的帧数。
可选的，数据转换单元42还用于：
对于每个所述视频片段，将所述视频片段的所述三维视频数据中的每两维数据组合成一组所述二维视频数据，获得所述视频片段的三组所述二维视频数据。
可选的，片段识别单元43还用于：
对于每个所述视频片段，提取所述视频片段的三组所述二维视频数据各自的初始特征信息；将所述视频片段的三组所述二维视频数据各自的所述初始特征信息融合为所述视频片段的融合特征信息；根据所述视频片段的所述融合特征信息确定所述视频片段的初始行为识别结果。
可选的，片段识别单元43还用于：
将所述视频片段的三组所述二维视频数据各自的所述初始特征信息拼接为特征拼接向量；对所述特征拼接向量进行平均池化处理，得到池化特征信息；根据预设的行为类别数量转换所述池化特征向量的尺寸，获得所述融合特征信息。
可选的，所述视频片段的所述初始行为结果包括所述视频片段所属的行为类型。
可选的，识别结果单元44还用于：
根据所述多个视频片段各自的所述初始行为结果统计属于每种所述行为类型的所述视频片段的片段个数；根据所述行为类型对应的所述片段个数，确定所述多个视频片段各自对应的所述行为类型中的目标类型；将所述目标类型确定为所述待处理视频的所述最终行为识别结果。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
另外，图4所示的行为识别装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图5是本申请实施例提供的终端设备的结构示意图。如图5所示，该实施例的终端设备5包括：至少一个处理器50(图5中仅示出一个)处理器、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意各个行为识别方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是终端设备5的举例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51在一些实施例中可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

  1. 一种行为识别方法，其特征在于，所述方法包括：
    获取待处理视频中的多个视频片段各自的三维视频数据；
    将每个所述视频片段的所述三维视频数据转换为二维视频数据；
    根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果；
    根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果。
  2. 如权利要求1所述的行为识别方法，其特征在于，所述获取待处理视频中的多个视频片段各自的三维视频数据，包括：
    对所述待处理视频进行视频抽帧处理，获得所述多个视频片段，其中，所述视频片段中包括多帧图像；
    对于每个所述视频片段，根据所述视频片段中包含的各帧图像上的像素生成所述视频片段的所述三维视频数据，其中，所述三维视频数据的尺寸为H×W×T，所述H为所述视频片段中各帧图像在宽度方向上包含的像素个数，所述W为所述视频片段中各帧图像在长度方向上包含的像素个数，所述T为所述视频片段中包含的图像的帧数。
  3. 如权利要求1所述的行为识别方法，其特征在于，所述将每个所述视频片段的所述三维视频数据转换为二维视频数据，包括：
    对于每个所述视频片段，将所述视频片段的所述三维视频数据中的每两维数据组合成一组所述二维视频数据，获得所述视频片段的三组所述二维视频数据。
  4. 如权利要求3所述的行为识别方法，其特征在于，所述根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果，包括：
    对于每个所述视频片段，提取所述视频片段的三组所述二维视频数据各自的初始特征信息；
    将所述视频片段的三组所述二维视频数据各自的所述初始特征信息融合为所述视频片段的融合特征信息；
    根据所述视频片段的所述融合特征信息确定所述视频片段的初始行为识别结果。
  5. 如权利要求4所述的行为识别方法，其特征在于，所述将所述视频片段的三组所述二维视频数据各自的所述初始特征信息融合为所述视频片段的融合特征信息，包括：
    将所述视频片段的三组所述二维视频数据各自的所述初始特征信息拼接为特征拼接向量；
    对所述特征拼接向量进行平均池化处理，得到池化特征信息；
    根据预设的行为类别数量转换所述池化特征向量的尺寸，获得所述融合特征信息。
  6. 如权利要求1所述的行为识别方法，其特征在于，所述视频片段的所述初始行为结果包括所述视频片段所属的行为类型；
    所述根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果，包括：
    根据所述多个视频片段各自的所述初始行为结果统计属于每种所述行为类型的所述视频片段的片段个数；
    根据所述行为类型对应的所述片段个数，确定所述多个视频片段各自对应的所述行为类型中的目标类型；
    将所述目标类型确定为所述待处理视频的所述最终行为识别结果。
  7. 一种行为识别装置，其特征在于，所述装置包括：
    数据获取单元，用于获取待处理视频中的多个视频片段各自的三维视频数据；
    数据转换单元，用于将每个所述视频片段的所述三维视频数据转换为二维视频数据；
    片段识别单元，用于根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果；
    识别结果单元，用于根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果。
  8. 如权利要求7所述的行为识别装置，其特征在于，所述数据获取单元还用于：
    对所述待处理视频进行视频抽帧处理，获得所述多个视频片段，其中，所述视频片段中包括多帧图像；
    对于每个所述视频片段，根据所述视频片段中包含的各帧图像上的像素生成所述视频片段的所述三维视频数据，其中，所述三维视频数据的尺寸为H×W×T，所述H为所述视频片段中各帧图像在宽度方向上包含的像素个数，所述W为所述视频片段中各帧图像在长度方向上包含的像素个数，所述T为所述视频片段中包含的图像的帧数。
  9. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
PCT/CN2021/124610 2021-02-05 2021-10-19 行为识别方法、装置、终端设备及计算机可读存储介质 Ceased WO2022166258A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110160081.1 2021-02-05
CN202110160081.1A CN113015022A (zh) 2021-02-05 2021-02-05 行为识别方法、装置、终端设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2022166258A1 true WO2022166258A1 (zh) 2022-08-11

Family

ID=76383818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/124610 Ceased WO2022166258A1 (zh) 2021-02-05 2021-10-19 行为识别方法、装置、终端设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113015022A (zh)
WO (1) WO2022166258A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580557A (zh) * 2020-12-25 2021-03-30 深圳市优必选科技股份有限公司 行为识别方法、装置、终端设备和可读存储介质
CN113015022A (zh) * 2021-02-05 2021-06-22 深圳市优必选科技股份有限公司 行为识别方法、装置、终端设备及计算机可读存储介质
CN113505733B (zh) * 2021-07-26 2025-04-04 浙江大华技术股份有限公司 行为识别方法、装置、存储介质及电子装置
CN113807222B (zh) * 2021-09-07 2023-06-27 中山大学 基于稀疏采样进行端到端训练的视频问答方法与系统
CN114463685B (zh) * 2022-02-15 2024-08-16 平安科技（深圳）有限公司 行为识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180084283A1 (en) * 2016-09-19 2018-03-22 Jaunt Inc. Behavioral Directional Encoding of Three-Dimensional Video
CN109165573A (zh) * 2018-08-03 2019-01-08 百度在线网络技术（北京）有限公司 用于提取视频特征向量的方法和装置
CN109697434A (zh) * 2019-01-07 2019-04-30 腾讯科技（深圳）有限公司 一种行为识别方法、装置和存储介质
CN111291718A (zh) * 2020-02-28 2020-06-16 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置
CN111814922A (zh) * 2020-09-07 2020-10-23 成都索贝数码科技股份有限公司 一种基于深度学习的视频片段内容匹配方法
CN113015022A (zh) * 2021-02-05 2021-06-22 深圳市优必选科技股份有限公司 行为识别方法、装置、终端设备及计算机可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966104B (zh) * 2015-06-30 2018-05-11 山东管理学院 一种基于三维卷积神经网络的视频分类方法
CN107066979A (zh) * 2017-04-18 2017-08-18 重庆邮电大学 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
CN107609460B (zh) * 2017-05-24 2021-02-02 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108319905A (zh) * 2018-01-25 2018-07-24 南京邮电大学 一种基于长时程深度时空网络的行为识别方法
CN109460734B (zh) * 2018-11-08 2020-07-31 山东大学 基于层次动态深度投影差值图像表示的视频行为识别方法及系统
CN110032926B (zh) * 2019-02-22 2021-05-11 哈尔滨工业大学（深圳） 一种基于深度学习的视频分类方法以及设备
CN110110651B (zh) * 2019-04-29 2023-06-13 齐鲁工业大学 基于时空重要性和3d cnn的视频中行为识别方法
CN110263650B (zh) * 2019-05-22 2022-02-22 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN110738103A (zh) * 2019-09-04 2020-01-31 北京奇艺世纪科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN111291695B (zh) * 2020-02-17 2023-05-23 全球能源互联网研究院有限公司 人员违章行为识别模型训练方法、识别方法及计算机设备
CN111339888B (zh) * 2020-02-20 2023-11-14 沈阳航空航天大学 基于关节点运动图的双人交互行为识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180084283A1 (en) * 2016-09-19 2018-03-22 Jaunt Inc. Behavioral Directional Encoding of Three-Dimensional Video
CN109165573A (zh) * 2018-08-03 2019-01-08 百度在线网络技术（北京）有限公司 用于提取视频特征向量的方法和装置
CN109697434A (zh) * 2019-01-07 2019-04-30 腾讯科技（深圳）有限公司 一种行为识别方法、装置和存储介质
CN111291718A (zh) * 2020-02-28 2020-06-16 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置
CN111814922A (zh) * 2020-09-07 2020-10-23 成都索贝数码科技股份有限公司 一种基于深度学习的视频片段内容匹配方法
CN113015022A (zh) * 2021-02-05 2021-06-22 深圳市优必选科技股份有限公司 行为识别方法、装置、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113015022A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
WO2022166258A1 (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
CN111062854B (zh) 检测水印的方法、装置、终端及存储介质
WO2020125495A1 (zh) 一种全景分割方法、装置及设备
WO2020119527A1 (zh) 人体动作识别方法、装置、终端设备及存储介质
CN112560980A (zh) 目标检测模型的训练方法、装置及终端设备
CN114612987B (zh) 一种表情识别方法及装置
CN115115540B (zh) 基于光照信息引导的无监督低光图像增强方法及装置
WO2021175040A1 (zh) 视频处理方法及相关装置
CN111353956A (zh) 图像修复方法、装置、计算机设备及存储介质
CN113139617B (zh) 一种输电线路自主定位方法、装置及终端设备
CN113139490B (zh) 一种图像特征匹配方法、装置、计算机设备及存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN111833285B (zh) 图像处理方法、图像处理装置及终端设备
CN113971830B (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN114359572A (zh) 多任务检测模型的训练方法、装置及终端设备
CN111814811B (zh) 图像信息提取方法、训练方法及装置、介质和电子设备
WO2022199395A1 (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN115690845A (zh) 一种运动轨迹预测方法及装置
US10212291B2 (en) System, method, and non-transitory computer readable storage medium for image recognition based on convolutional neural networks
WO2025138715A1 (zh) 一种图像处理方法及其相关设备
WO2022221982A1 (zh) 一种图像重建方法、装置、终端设备和存储介质
CN119917700A (zh) 异构计算机中的索引方法、装置、设备、介质及产品
CN113077469A (zh) 草图图像语义分割方法、装置、终端设备及存储介质
CN111815638A (zh) 视频分割网络模型的训练方法、视频分割方法及相关设备
WO2021174834A1 (zh) Yuv图像识别方法、系统和计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21924255

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21924255

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21924255

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19/01/2024)

122 Ep: pct application non-entry in european phase

Ref document number: 21924255

Country of ref document: EP

Kind code of ref document: A1