WO2020211242A1 - 一种基于行为识别的方法、装置及存储介质 - Google Patents

一种基于行为识别的方法、装置及存储介质 Download PDF

Info

Publication number
WO2020211242A1
WO2020211242A1 PCT/CN2019/102980 CN2019102980W WO2020211242A1 WO 2020211242 A1 WO2020211242 A1 WO 2020211242A1 CN 2019102980 W CN2019102980 W CN 2019102980W WO 2020211242 A1 WO2020211242 A1 WO 2020211242A1
Authority
WO
WIPO (PCT)
Prior art keywords
skeleton
image
frame
channel
sub
Prior art date
Application number
PCT/CN2019/102980
Other languages
English (en)
French (fr)
Inventor
李岩山
郭天宇
夏荣杰
刘星
徐健杰
Original Assignee
深圳大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳大学 filed Critical 深圳大学
Publication of WO2020211242A1 publication Critical patent/WO2020211242A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to the field of image recognition technology, in particular to a method, device and storage medium based on behavior recognition.
  • behavior recognition has been widely used in intelligent monitoring, human-computer interaction, and virtual reality.
  • behavior recognition mainly relies on manual features.
  • the features extracted from the coordinates of the original joint points have strong physical meaning, and can intuitively and effectively represent the spatial and temporal information of the skeleton, but they also have Relative limitations, unable to characterize deeper relationships, and related complex mathematical calculations slow down the calculation speed.
  • some end-to-end deep learning networks start from the original data and have better performance in behavior recognition tasks, such as the commonly used CNN (Convolutional Neural Networks, convolutional neural network) and LSTM (Long Short-Term Memory). , Long and short-term memory network), but also face the challenges of large amount of calculation and unclear representation meaning.
  • the technical problem to be solved by the present invention is to provide a method, device and storage medium based on behavior recognition, and a method, device and storage medium based on behavior recognition for recognizing human behavior.
  • the first aspect of the present invention discloses a human body behavior recognition method, which includes:
  • a human body behavior recognition model is established in accordance with preset modeling rules, the recognition model including several sub-skeleton joint points and weights corresponding to each sub-skeleton joint point;
  • a preset neural network is used to analyze the spatio-temporal characteristics, and the behavior label corresponding to the target skeleton is determined according to the analysis result.
  • the establishing a human behavior recognition model according to a preset modeling rule includes:
  • the weight corresponding to each layer of sub-skeleton samples is weighted, and the recognition model is determined according to the weighting result.
  • the processing the spatial feature corresponding to each frame of image according to a preset image processing rule includes:
  • the pixel value of each frame of image on the R channel Based on the pixel value of each frame of image on the R channel, the pixel value of each frame of image on the G channel, and the pixel value of each frame of image on the B channel, generate The RGB pixel information.
  • the neural network includes a convolver, a full connector, and a filter.
  • the analysis of the spatiotemporal characteristics by the preset neural network includes:
  • a filter is used to filter the processing result of the fully connected layer.
  • the number of the convolvers is 5, and the number of the fully connected layers is 3.
  • the fully connected layer includes 4096 neurons.
  • the method further includes:
  • the second aspect of the present invention discloses a human body behavior recognition device, which includes:
  • a memory storing executable program codes
  • a processor coupled with the memory
  • the processor calls the executable program code stored in the memory to execute the human body recognition method according to the first aspect of the present invention.
  • the third aspect of the present invention discloses a computer-readable storage medium in which a batch processing log query program is stored.
  • the batch processing log query program is executed by a processor, the first aspect of the invention is executed.
  • the described human body recognition method is described.
  • the present invention has the following beneficial effects:
  • the present invention applies the idea of spatial pyramid to skeleton behavior recognition.
  • the present invention uses the skeleton sequence spatial pyramid model to model the spatial information of the skeleton sequence, which effectively represents the spatial information in the skeleton sequence frame.
  • the present invention incorporates inter-frame information to form the spatiotemporal information of the skeleton sequence, so that the present invention can better send the spatiotemporal information of the skeleton sequence into the deep neural network for learning and classification. Therefore, the present invention can be used based on the idea of spatial pyramid
  • the coordinate system hierarchically expresses the potential spatial relationship of the skeleton sequence and forms the spatiotemporal characteristics of the skeleton sequence, and then the spatiotemporal characteristics are sent to the neural network for analysis, so as to realize the recognition of human behavior.
  • FIG. 1 is a schematic flowchart of a method for identifying human behaviors disclosed in an embodiment of the present invention
  • FIG. 2 is a schematic diagram of the recognition model disclosed in the embodiment of the present invention.
  • Fig. 3 is a schematic diagram of an orthogonal plane coordinate system disclosed in an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of the structure of a neural network disclosed in an embodiment of the present invention.
  • Fig. 5 is a schematic structural diagram of a human behavior recognition device disclosed in an embodiment of the present invention.
  • FIG. 1 is a schematic flowchart of a human behavior recognition method disclosed in an embodiment of the present invention. As shown in FIG. 1, the human behavior recognition method includes the following steps:
  • a human body behavior recognition model is established according to preset modeling rules.
  • the recognition model includes several sub-skeleton joint points and a weight corresponding to each sub-skeleton joint point.
  • FIG. 2 is a schematic diagram of the recognition model.
  • the skeleton sample is represented by S, and the scale set ⁇ 0,1,...,L ⁇ is determined based on the idea of spatial pyramid, and then the scale set ⁇ 0,1,...,L ⁇ is used to divide S Into several sub-skeletons; use F l to represent the characteristics of the skeleton S in layer 1, and the feature weight w l at scale l can be obtained by formula (1):
  • the spatial feature F of the skeleton sample S in a frame can be expressed by formula (2), namely:
  • formula (2) can be used as a recognition model for recognizing the target skeleton, and the recognition model can weight the spatial features of the target skeleton at different levels to aggregate together, and then, the detailed features of the target skeleton are magnified, so as to identify the target skeleton.
  • Features recognize human behavior.
  • processing the spatial characteristics corresponding to each frame of image according to preset image processing rules includes:
  • each frame of image on the orthogonal plane coordinate system where the projection includes the pixel value of each frame of image on the R channel, the pixel value of each frame of image on the G channel, and the image of each frame on B The pixel value on the channel;
  • RGB pixel information is generated.
  • Figure 3 is a schematic diagram of orthogonal plane coordinates, where the x-axis in the plane coordinate system all represent the R channel, the y-axis in the plane coordinate system all represent the G channel, and the plane coordinate system The z-axis represents B-way.
  • P R represents the pixel value of each frame of image on the R channel
  • P G represents the pixel value of each frame of image on the G channel
  • P B represents the pixel value of each frame of image on the B channel.
  • P R , P G , P B can be calculated and determined by formula (3), formula (4), and formula (5), namely:
  • 106 Use a preset neural network to analyze spatio-temporal features, and determine the behavior label corresponding to the target skeleton according to the analysis result.
  • establishing a human behavior recognition model according to preset modeling rules includes:
  • each layer of sub-skeleton samples in the several layers of sub-skeleton samples includes at least one sub-skeleton joint point;
  • the weight corresponding to each layer of sub-skeleton samples is weighted, and the recognition model is determined according to the weighting result.
  • the neural network optionally includes a convolver, a full connector, and a filter.
  • a preset neural network to analyze the spatiotemporal features, including:
  • the number of convolvers is 5, and the number of fully connected layers is 3.
  • the fully connected layer includes 4096 neurons.
  • a human behavior recognition method before using the recognition model to analyze several frames of images, a human behavior recognition method further includes:
  • the human body recognition device of the embodiment of the present invention applies the idea of spatial pyramid to skeleton behavior recognition.
  • the present invention uses the skeleton sequence spatial pyramid model to model the spatial information of the skeleton sequence, which effectively represents the skeleton. Spatial information within the sequence frame.
  • the embodiment of the present invention incorporates inter-frame information to form the spatiotemporal information of the skeleton sequence, so that the embodiment of the present invention can better send the spatiotemporal information of the skeleton sequence into the deep neural network for learning and classification. Therefore, the embodiment of the present invention can be based on
  • the idea of spatial pyramid uses a coordinate system to express the potential spatial relationship of the skeleton sequence hierarchically and form the spatiotemporal characteristics of the skeleton sequence. Then the spatiotemporal characteristics are sent to the neural network for analysis to realize the recognition of human behavior.
  • FIG. 5 is a schematic structural diagram of a human body recognition device disclosed in an embodiment of the present invention, where the device includes a construction module 201, an acquisition module 202, a first analysis module 203, an image processing module 204, and a sorting module 205 , The second analysis module 206, where:
  • the construction module 201 is configured to establish a human behavior recognition model based on the skeleton sample and according to preset modeling rules.
  • the recognition model includes several sub-skeleton joint points and the weight corresponding to each sub-skeleton joint point.
  • FIG. 2 is a schematic diagram of the recognition model.
  • the skeleton sample is represented by S, and the scale set ⁇ 0,1,...,L ⁇ is determined based on the idea of spatial pyramid, and then the scale set ⁇ 0,1,...,L ⁇ is used to divide S Into several sub-skeletons; use F l to represent the characteristics of the skeleton S in layer 1, and the feature weight w l at scale l can be obtained by formula (1):
  • the spatial feature F of the skeleton sample S in a frame can be expressed by formula (2), namely:
  • formula (2) can be used as a recognition model for recognizing the target skeleton, and the recognition model can weight the spatial features of the target skeleton at different levels to aggregate together, and then, the detailed features of the target skeleton are magnified, so as to identify the target skeleton.
  • Features recognize human behavior.
  • the acquiring module 202 is configured to acquire the image information of the target skeleton after the construction module 201 establishes the human behavior recognition model according to the preset modeling rules, where the image information includes several frames of images.
  • the first analysis module 203 is configured to analyze several frames of images using the recognition model, and generate spatial features corresponding to each frame of the several frames of images.
  • the image processing module 204 is configured to process the spatial characteristics corresponding to each frame of image according to preset image processing rules, and generate RGB pixel information corresponding to each frame of image.
  • the sorting module 205 is used for sorting the RGB pixel information corresponding to each of the several frames of images in chronological order, and marking the result of the sorting as the spatiotemporal feature of the target skeleton.
  • the image processing module 204 executes the processing of the spatial features corresponding to each frame of image according to preset image processing rules, including the following sub-steps:
  • each frame of image on the orthogonal plane coordinate system where the projection includes the pixel value of each frame of image on the R channel, the pixel value of each frame of image on the G channel, and the image of each frame on B The pixel value on the channel;
  • RGB pixel information is generated.
  • Figure 3 is a schematic diagram of orthogonal plane coordinates, where the x-axis in the plane coordinate system all represent the R channel, the y-axis in the plane coordinate system all represent the G channel, and the plane coordinate system The z-axis represents B-way.
  • P R represents the pixel value of each frame of image on the R channel
  • P G represents the pixel value of each frame of image on the G channel
  • P B represents the pixel value of each frame of image on the B channel.
  • P R , P G , P B can be calculated and determined by formula (3), formula (4), and formula (5), namely:
  • the second analysis module 206 is used to analyze the spatiotemporal features using a preset neural network, and determine the behavior label corresponding to the target skeleton according to the analysis result.
  • the construction module 201 executes the establishment of a human behavior recognition model according to preset modeling rules, including the following sub-steps:
  • each layer of sub-skeleton samples in the several layers of sub-skeleton samples includes at least one sub-skeleton joint point;
  • the weight corresponding to each layer of sub-skeleton samples is weighted, and the recognition model is determined according to the weighting result.
  • the neural network optionally includes a convolver, a full connector, and a filter.
  • the second analysis module 206 performs analysis of spatiotemporal features using a preset neural network, including the following operations:
  • the number of convolvers is 5, and the number of fully connected layers is 3.
  • the fully connected layer includes 4096 neurons.
  • a human body behavior recognition device further includes a preprocessing module, where the preprocessing module is used to adjust according to a preset image before the first analysis module 203 uses the recognition model to analyze several frames of images. Rules adjust the specifications of several frames of images.
  • the human body recognition device of the embodiment of the present invention applies the idea of spatial pyramid to skeleton behavior recognition.
  • the present invention uses the skeleton sequence spatial pyramid model to model the spatial information of the skeleton sequence, which effectively represents the skeleton. Spatial information within the sequence frame.
  • the embodiment of the present invention incorporates inter-frame information to form the spatiotemporal information of the skeleton sequence, so that the embodiment of the present invention can better send the spatiotemporal information of the skeleton sequence into the deep neural network for learning and classification. Therefore, the embodiment of the present invention can be based on
  • the idea of spatial pyramid uses a coordinate system to express the potential spatial relationship of the skeleton sequence hierarchically and form the spatiotemporal characteristics of the skeleton sequence. Then the spatiotemporal characteristics are sent to the neural network for analysis to realize the recognition of human behavior.
  • a schematic structural diagram of a human behavior recognition device disclosed in an embodiment of the present invention the device may include:
  • a memory storing executable program codes
  • the processor calls the executable program code stored in the memory to execute the steps in the method for identifying human behavior described in the first embodiment.
  • the human body recognition device of the embodiment of the present invention applies the idea of spatial pyramid to the recognition of skeleton behavior.
  • the present invention uses the skeleton sequence spatial pyramid model to model the spatial information of the skeleton sequence, which effectively represents the skeleton sequence frame Information within the space.
  • the embodiment of the present invention incorporates inter-frame information to form the spatiotemporal information of the skeleton sequence, so that the embodiment of the present invention can better send the spatiotemporal information of the skeleton sequence into the deep neural network for learning and classification. Therefore, the embodiment of the present invention can be based on
  • the idea of spatial pyramid uses a coordinate system to express the potential spatial relationship of the skeleton sequence hierarchically and form the spatiotemporal characteristics of the skeleton sequence. Then the spatiotemporal characteristics are sent to the neural network for analysis to realize the recognition of human behavior.
  • the embodiment of the present invention discloses a computer-readable storage medium that stores a computer program for electronic data exchange, where the computer program causes a computer to execute the steps in a human behavior recognition method described in the first embodiment.
  • a computer-readable storage medium applies the idea of spatial pyramid to skeleton behavior recognition by executing a human behavior recognition method.
  • the embodiment of the present invention uses a skeleton sequence spatial pyramid model to model a skeleton sequence The model effectively represents the spatial information in the frame of the skeleton sequence.
  • the embodiment of the present invention incorporates inter-frame information to form the temporal and spatial information of the skeleton sequence, so that the embodiment of the present invention can better send the temporal and spatial information of the skeleton sequence into the deep neural network for learning and classification.
  • the present invention can be based on the spatial pyramid
  • the embodiment of the present invention discloses a computer program product.
  • the computer program product includes a non-transitory computer-readable storage medium storing a computer program, and the computer program is operable to cause a computer to execute the human body described in the first embodiment. Steps in behavior recognition methods.
  • the device embodiments described above are only illustrative.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in One place, or it can be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the objectives of the solutions of the embodiments. Those of ordinary skill in the art can understand and implement it without creative work.
  • each embodiment can be implemented by means of software plus a necessary general hardware platform, and of course, it can also be implemented by hardware.
  • the above technical solution essentially or the part that contributes to the existing technology can be embodied in the form of a software product.
  • the computer software product can be stored in a computer-readable storage medium, and the storage medium includes a read-only memory.
  • Read-Only Memory ROM
  • RAM Random Access Memory
  • PROM Programmable Read-only Memory
  • EPROM Erasable Programmable Read Only Memory
  • OTPROM One-time Programmable Read-Only Memory
  • EEPROM Electronically-Erasable Programmable Read-Only Memory
  • CD-ROM Compact Disc Read
  • CD-ROM Compact Disc Read

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行为识别的方法、装置及存储介质，其中，本发明能够使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明融入帧间信息形成骨架序列的时空信息，从而本发明可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。

Description

一种基于行为识别的方法、装置及存储介质 技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于行为识别的方法、装置及存储介质。
背景技术
近年来，行为识别在智能监控、人机交互、虚拟现实等方面有着广泛应用。在现有技术中，行为识别主要依赖于手工特征，这样由原始关节点的坐标提取出来的特征有着很强的物理意义，能够很直观而且有效地表示骨架的空间信息和时间信息，但也具有相对的局限性，无法表征出更深层次的关系，而且相关的复杂数学计算拖慢了计算速度。另一方面，一些端到端的深度学习网络从原始的数据出发，在行为识别任务上具有更好的表现，比如常用的CNN(Convolutional Neural Networks，卷积神经网络)和LSTM(Long Short-Term Memory，长短期记忆网络)，但同样面临着计算量大以及表征意义不明确等挑战。
发明内容
本发明所要解决的技术问题在于，提供一种基于行为识别的方法、装置及存储介质一种基于行为识别的方法、装置及存储介质，用于识别人体行为。
本发明第一方面公开了一种人体行为识别方法，该方法包括：
基于骨架样本，按照预设的建模规则建立人体行为识别模型，所述识别模型包括若个子骨架关节点及每个子骨架关节点对应的权重；
获取目标骨架的图像信息，其中，所述图像信息包括若干帧图像；
使用所述识别模型分析所述若干帧图像，并生成所述若干帧图像中每一帧图像对应的空间特征；
按照预设的图像处理规则对所述每一帧图像对应的所述空间特征进行处理，并生成所述每一帧图像对应的RGB像素信息；
按照时间先后顺序对所述若干帧图像中的所述每一帧图像对应的所述RGB像素信息进行排列，并将排列结果标记为所述目标骨架的时空特征；
使用预设的神经网络对所述时空特征进行分析，并根据分析结果确定所述目标骨架对应的行为标签。
在本发明第一方面中，可选地，所述按照预设的建模规则建立人体行为识别模型，包括：
按照预设的划分尺度将所述骨架样本划分为若干层子骨架样本，其中，所述若干层子骨架样本中的每一层子骨架样本均包括至少一个子骨架关节点；
按照预设的权重匹配规则设置所述每一层子骨架样本对应的权重，其中，层级越高的子骨架样本的权重越高；
加权所述每一层子骨架样本对应的权重，并根据加权结果确定所述识别模型。
在本发明第一方面中，可选地，所述按照预设的图像处理规则对所述每一帧图像对应的所述空间特征进行处理，包括：
建立正交平面坐标系，其中，所述平面坐标系中的x轴都表示R通道，所述平面坐标系中的y轴都表示G通道,所述平面坐标系中的z轴表示B通道；
获取所述每一帧图像在所述正交平面坐标系上形成的投影，其中，所述投影包括所述每一帧图像在所述R通道上的像素值、所述每一帧图像在所述G通道上的像素值和所述每一帧图像在所述B通道上的像素值；
基于所述每一帧图像在所述R通道上的像素值、所述每一帧图像在所述G通道上的像素值和所述每一帧图像在所述B通道上的像素值，生成所述RGB像素信息。
在本发明第一方面中，可选地，所述神经网络包括卷积器、完全连接器、过滤器。
在本发明第一方面中，可选地，所述预设的神经网络对所述时空特征进行分析，包括：
使用卷积器对所述时空特征进行卷积计算并生成卷积结果；
将所述卷积结果输入所述完全连接层，以使得所述完全连接层对所述卷积结果进行处理；
使用过滤器对所述完全连接层的处理结果进行过滤。
在本发明第一方面中，可选地，所述卷积器的数量为5个，所述完全连接层的数量为3个。
在本发明第一方面中，可选地，所述完全连接层包括4096个神经元。
在本发明第一方面中，可选地，在所述使用识别模型分析所述若干帧图像之前，所述方法还包括：
按照预设的图像调整规则调整所述若干帧图像的规格。
本发明第二方面公开了一种人体行为识别装置，该装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如本发明第一方面所述的人体识别方法。
本发明第三方面公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有批处理日志查询程序，所述批处理日志查询程序被处理器执行时，执行本发明第一方面所述的人体识别方法。
与现有技术相比，本发明具有如下有益效果：
本发明将空间金字塔的思想运用到骨架行为识别上，首先，本发明使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明融入帧间信息形成骨架序列的时空信息，从而本发明可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种人体行为识别方法的流程示意图；
图2是本发明实施例公开的识别模型的示意图；
图3是本发明实施例公开的正交平面坐标系的示意图；
图4是本发明实施例公开的神经网络的结构示意图；
图5是本发明实施例公开的一种人体行为识别装置的结构示意图。
具体实施方式
为了更好地理解和实施，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施例公开的一种人体行为识别方法的流程示意图，如图1所示，该人体行为识别方法包括以下步骤：
101、基于骨架样本，按照预设的建模规则建立人体行为识别模型，识别模型包括若个子骨架关节点及每个子骨架关节点对应的权重。
示例性地，请参阅图2，图2是识别模型的示意图。基于图2，骨架样本用S表示，且基于空间金字塔的思想确定尺度集{0,1,...,L}，然后使用尺度集{0,1,...,L}将S进行划分成若干个子骨架；用F l表示骨架S在l层的特征，且尺度l下的特征 权重w l可由公式(1)得到：
Figure PCTCN2019102980-appb-000001
进而，根据公式(1)，骨架样本S在一帧内的空间特征F可以用公式(2)表示，即：
Figure PCTCN2019102980-appb-000002
其中，公式(2)可以作为识别目标骨架的识别模型，且该识别模型能够将目标骨架在不同层次的空间特征加权聚集在一起，进而，目标骨架的细节特征被放大，从而通过识别目标骨架的特征识别人体行为。
102、获取目标骨架的图像信息，其中，图像信息包括若干帧图像。
103、使用识别模型分析若干帧图像，并生成若干帧图像中每一帧图像对应的空间特征。
104、按照预设的图像处理规则对每一帧图像对应的空间特征进行处理，并生成每一帧图像对应的RGB像素信息。
105、按照时间先后顺序对若干帧图像中的每一帧图像对应的RGB像素信息进行排列，并将排列结果标记为目标骨架的时空特征。
在一些实施方式中，可选地，按照预设的图像处理规则对每一帧图像对应的空间特征进行处理，包括：
建立正交平面坐标系，其中，平面坐标系中的x轴都表示R通道，平面坐标系中的y轴都表示G通道,平面坐标系中的z轴表示B通道；
获取每一帧图像在正交平面坐标系上形成的投影，其中，投影包括每一帧图像在R通道上的像素值、每一帧图像在G通道上的像素值和每一帧图像在B通道上的像素值；
基于每一帧图像在R通道上的像素值、每一帧图像在G通道上的像素值和每一帧图像在B通道上的像素值，生成RGB像素信息。
示例性地，请参阅图3，图3是正交平面坐标的示意图，其中，平面坐标系中的x轴都表示R通道，平面坐标系中的y轴都表示G通道,平面坐标系中的z轴表示B通。另一方面，用P R表示每一帧图像在R通道上的像素值，P G表示每一帧图像在G通道上的像素值，P B表示每一帧图像在B通道上的像素值，且P R、P G、P B可以通过公式(3)、公式(4)、公式(5)计算确定，即:
Figure PCTCN2019102980-appb-000003
Figure PCTCN2019102980-appb-000004
106、使用预设的神经网络对时空特征进行分析，并根据分析结果确定目标骨架对应的行为标签。
在一些实施方式中，可选地，按照预设的建模规则建立人体行为识别模型，包括：
按照预设的划分尺度将骨架样本划分为若干层子骨架样本，其中，若干层子骨架样本中的每一层子骨架样本均包括至少一个子骨架关节点；
按照预设的权重匹配规则设置每一层子骨架样本对应的权重，其中，层级越高的子骨架样本的权重越高；
加权每一层子骨架样本对应的权重，并根据加权结果确定识别模型。
如图4所示，在一些实施方式中，可选地，神经网络包括卷积器、完全连接器、过滤器。
在一些实施方式中，可选地，使用预设的神经网络对时空特征进行分析，包括：
使用卷积器对时空特征进行卷积计算并生成卷积结果；
将卷积结果输入完全连接层，以使得完全连接层对卷积结果进行处理；
使用过滤器对完全连接层的处理结果进行过滤。
在一些实施方式中，可选地，卷积器的数量为5个，完全连接层的数量为3个。
在一些实施方式中，可选地，完全连接层包括4096个神经元。
在一些实施方式中，可选地，在使用识别模型分析若干帧图像之前，一种人体行为识别方法还包括:
按照预设的图像调整规则调整若干帧图像的规格。
可见，本发明实施例的一种人体识别装置将空间金字塔的思想运用到骨架行为识别上，首先，本发明使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明实施例融入帧间信息形成骨架序列的时空信息，从而本发明实施例可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明实施例能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
实施例二
请参阅图5，图5是本发明实施例公开了一种人体识别装置的结构示意图，其中，该装置包括构建模块201、获取模块202、第一分析模块203、图像处理 模块204、排序模块205、第二分析模块206，其中：
构建模块201，用于基于骨架样本，按照预设的建模规则建立人体行为识别模型，识别模型包括若个子骨架关节点及每个子骨架关节点对应的权重。
示例性地，请参阅图2，图2是识别模型的示意图。基于图2，骨架样本用S表示，且基于空间金字塔的思想确定尺度集{0,1,...,L}，然后使用尺度集{0,1,...,L}将S进行划分成若干个子骨架；用F l表示骨架S在l层的特征，且尺度l下的特征权重w l可由公式(1)得到：
Figure PCTCN2019102980-appb-000005
进而，根据公式(1)，骨架样本S在一帧内的空间特征F可以用公式(2)表示，即：
Figure PCTCN2019102980-appb-000006
其中，公式(2)可以作为识别目标骨架的识别模型，且该识别模型能够将目标骨架在不同层次的空间特征加权聚集在一起，进而，目标骨架的细节特征被放大，从而通过识别目标骨架的特征识别人体行为。
获取模块202，用于在构建模块201按照预设的建模规则建立人体行为识别模型之后，获取目标骨架的图像信息，其中，图像信息包括若干帧图像。
第一分析模块203，用于使用识别模型分析若干帧图像，并生成若干帧图像中每一帧图像对应的空间特征。
图像处理模块204，用于按照预设的图像处理规则对每一帧图像对应的空间特征进行处理，并生成每一帧图像对应的RGB像素信息。
排序模块205，用于按照时间先后顺序对若干帧图像中的每一帧图像对应的RGB像素信息进行排列，并将排列结果标记为目标骨架的时空特征。
在一些实施方式中，可选地，图像处理模块204执行按照预设的图像处理规则对每一帧图像对应的空间特征进行处理，包括以下子步骤：
建立正交平面坐标系，其中，平面坐标系中的x轴都表示R通道，平面坐标系中的y轴都表示G通道,平面坐标系中的z轴表示B通道；
获取每一帧图像在正交平面坐标系上形成的投影，其中，投影包括每一帧图像在R通道上的像素值、每一帧图像在G通道上的像素值和每一帧图像在B通道上的像素值；
基于每一帧图像在R通道上的像素值、每一帧图像在G通道上的像素值和每一帧图像在B通道上的像素值，生成RGB像素信息。
示例性地，请参阅图3，图3是正交平面坐标的示意图，其中，平面坐标系中的x轴都表示R通道，平面坐标系中的y轴都表示G通道,平面坐标系中的z轴表示B通。另一方面，用P R表示每一帧图像在R通道上的像素值，P G表示每一帧图像在G通道上的像素值，P B表示每一帧图像在B通道上的像素值，且P R、P G、P B可以通过公式(3)、公式(4)、公式(5)计算确定，即:
Figure PCTCN2019102980-appb-000007
Figure PCTCN2019102980-appb-000008
第二分析模块206，用于使用预设的神经网络对时空特征进行分析，并根据分析结果确定目标骨架对应的行为标签。
在一些实施方式中，可选地，构建模块201执行按照预设的建模规则建立人体行为识别模型，包括以下子步骤：
按照预设的划分尺度将骨架样本划分为若干层子骨架样本，其中，若干层子骨架样本中的每一层子骨架样本均包括至少一个子骨架关节点；
按照预设的权重匹配规则设置每一层子骨架样本对应的权重，其中，层级越高的子骨架样本的权重越高；
加权每一层子骨架样本对应的权重，并根据加权结果确定识别模型。
如图4所示，在一些实施方式中，可选地，神经网络包括卷积器、完全连接器、过滤器。
在一些实施方式中，可选地，第二分析模块206执行使用预设的神经网络对时空特征进行分析，包括以下操作：
使用卷积器对时空特征进行卷积计算并生成卷积结果；
将卷积结果输入完全连接层，以使得完全连接层对卷积结果进行处理；
使用过滤器对完全连接层的处理结果进行过滤。
在一些实施方式中，可选地，卷积器的数量为5个，完全连接层的数量为3个。
在一些实施方式中，可选地，完全连接层包括4096个神经元。
在一些实施方式中，可选地，一种人体行为识别装置还包括预处理模块，其中，预处理模块用于在第一分析模块203使用识别模型分析若干帧图像之前，按照预设的图像调整规则调整若干帧图像的规格。
可见，本发明实施例的一种人体识别装置将空间金字塔的思想运用到骨架行为识别上，首先，本发明使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明实施例 融入帧间信息形成骨架序列的时空信息，从而本发明实施例可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明实施例能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
实施例三
本发明实施例公开的一种人体行为识别装置的结构示意图，该装置可以包括：
存储有可执行程序代码的存储器；
与存储器耦合的处理器；
处理器调用存储器中存储的可执行程序代码，执行实施例一所描述的一种人体行为识别方法中的步骤。
本发明实施例的一种人体识别装置将空间金字塔的思想运用到骨架行为识别上，首先，本发明使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明实施例融入帧间信息形成骨架序列的时空信息，从而本发明实施例可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明实施例能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
实施例四
本发明实施例公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的一种人体行为识别方法中的步骤。
本发明实施例的一种计算机可读存储介质通过执行一种人体行为识别方法，将空间金字塔的思想运用到骨架行为识别上，首先，本发明实施例使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明实施例融入帧间信息形成骨架序列的时空信息，从而本发明实施例可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
实施例五
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了 计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一所描述的一种人体行为识别方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种人体行为识别方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

  1. 一种人体行为识别方法，其特征在于，所述方法包括：
    基于骨架样本，按照预设的建模规则建立人体行为识别模型，所述识别模型包括若干层子骨架关节点及每层子骨架关节点对应的权重；
    获取目标骨架的图像信息，其中，所述图像信息包括若干帧图像；
    使用所述识别模型分析所述若干帧图像，并生成所述若干帧图像中每一帧图像对应的空间特征；
    按照预设的图像处理规则对所述每一帧图像对应的所述空间特征进行处理，并生成所述每一帧图像对应的RGB像素信息；
    按照时间先后顺序对所述若干帧图像中的所述每一帧图像对应的所述RGB像素信息进行排列，并将排列结果标记为所述目标骨架的时空特征；
    使用预设的神经网络对所述时空特征进行分析，并根据分析结果确定所述目标骨架对应的行为标签。
  2. 如权利要求1所述的方法，其特征在于，所述按照预设的建模规则建立人体行为识别模型，包括：
    按照预设的划分尺度将所述骨架样本划分为若干层子骨架样本，其中，所述若干层子骨架样本中的每一层子骨架样本均包括至少一个子骨架关节点；
    按照预设的权重匹配规则设置所述每一层子骨架样本对应的权重，其中，层级越高的子骨架样本的权重越高；
    加权所述每一层子骨架样本对应的权重，并根据加权结果确定所述识别模型。
  3. 如权利要求1所述的方法，其特征在于，所述按照预设的图像处理规则对所述每一帧图像对应的所述空间特征进行处理，包括：
    建立正交平面坐标系，其中，所述平面坐标系中的x轴都表示R通道，所述平面坐标系中的y轴都表示G通道,所述平面坐标系中的z轴表示B通道；
    获取所述每一帧图像在所述正交平面坐标系上形成的投影，其中，所述投影包括所述每一帧图像在所述R通道上的像素值、所述每一帧图像在所述G通道上的像素值和所述每一帧图像在所述B通道上的像素值；
    基于所述每一帧图像在所述R通道上的像素值、所述每一帧图像在所述G通道上的像素值和所述每一帧图像在所述B通道上的像素值，生成所述RGB像素信息。
  4. 如权利要求1所述的方法，其特征在于，所述神经网络包括卷积器、完全连接器、过滤器。
  5. 如权利要求4所述的方法，其特征在于，所述使用预设的神经网络对所述时空特征进行分析，包括：
    使用卷积器对所述时空特征进行卷积计算并生成卷积结果；
    将所述卷积结果输入所述完全连接层，以使得所述完全连接层对所述卷积结果进行处理；
    使用过滤器对所述完全连接层的处理结果进行过滤。
  6. 如权利要求4所述的方法，其特征在于，所述卷积器的数量为5个，所述完全连接层的数量为3个。
  7. 如权利要求4所述的方法，其特征在于，所述完全连接层包括4096个神经元。
  8. 如权利要求1所述的方法，其特征在于，在所述使用识别模型分析所述若干帧图像之前，所述方法还包括:
    按照预设的图像调整规则调整所述若干帧图像的规格。
  9. 一种人体行为识别装置，其特征在于，所述装置包括：
    存储有可执行程序代码的存储器；
    与所述存储器耦合的处理器；
    所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-8任一项所述的人体识别方法。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有批处理日志查询程序，所述批处理日志查询程序被处理器执行时，执行如权利要求1-8任一项所述的人体识别方法。
PCT/CN2019/102980 2019-04-15 2019-08-28 一种基于行为识别的方法、装置及存储介质 WO2020211242A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910299663.0 2019-04-15
CN201910299663.0A CN110197116B (zh) 2019-04-15 2019-04-15 一种人体行为识别方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2020211242A1 true WO2020211242A1 (zh) 2020-10-22

Family

ID=67751939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/102980 WO2020211242A1 (zh) 2019-04-15 2019-08-28 一种基于行为识别的方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN110197116B (zh)
WO (1) WO2020211242A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408433A (zh) * 2021-06-22 2021-09-17 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN114821799A (zh) * 2022-05-10 2022-07-29 清华大学 基于时空图卷积网络的动作识别方法、装置和设备
CN115035238A (zh) * 2022-04-25 2022-09-09 Oppo广东移动通信有限公司 人体重建插帧方法及相关产品
CN116434339A (zh) * 2023-04-13 2023-07-14 江南大学 基于骨架数据时空特征差异性和相关性的行为识别方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028339B (zh) * 2019-12-06 2024-03-29 国网浙江省电力有限公司培训中心 一种行为动作建模方法、装置、电子设备和存储介质
CN112580442B (zh) * 2020-12-02 2022-08-09 河海大学 一种基于多维金字塔层次模型的行为识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092978A1 (en) * 2013-09-27 2015-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
CN105320937A (zh) * 2015-09-25 2016-02-10 北京理工大学 基于Kinect的交警手势识别方法
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法
CN108764107A (zh) * 2018-05-23 2018-11-06 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469318A (zh) * 2010-11-04 2012-05-23 深圳Tcl新技术有限公司 一种2d图像转3d图像的方法
CN103593677A (zh) * 2013-12-02 2014-02-19 中国科学院自动化研究所 一种近似重复图像检测方法
CN104182949B (zh) * 2014-08-18 2017-02-15 武汉大学 基于直方图特征点配准的影像匀色与融合方法及系统
CN107506712B (zh) * 2017-08-15 2021-05-18 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108304795B (zh) * 2018-01-29 2020-05-12 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN109460707A (zh) * 2018-10-08 2019-03-12 华南理工大学 一种基于深度神经网络的多模态动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092978A1 (en) * 2013-09-27 2015-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
CN105320937A (zh) * 2015-09-25 2016-02-10 北京理工大学 基于Kinect的交警手势识别方法
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法
CN108764107A (zh) * 2018-05-23 2018-11-06 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408433A (zh) * 2021-06-22 2021-09-17 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN113408433B (zh) * 2021-06-22 2023-12-05 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN115035238A (zh) * 2022-04-25 2022-09-09 Oppo广东移动通信有限公司 人体重建插帧方法及相关产品
CN115035238B (zh) * 2022-04-25 2024-06-11 Oppo广东移动通信有限公司 人体重建插帧方法及相关产品
CN114821799A (zh) * 2022-05-10 2022-07-29 清华大学 基于时空图卷积网络的动作识别方法、装置和设备
CN116434339A (zh) * 2023-04-13 2023-07-14 江南大学 基于骨架数据时空特征差异性和相关性的行为识别方法
CN116434339B (zh) * 2023-04-13 2023-10-27 江南大学 基于骨架数据时空特征差异性和相关性的行为识别方法

Also Published As

Publication number Publication date
CN110197116A (zh) 2019-09-03
CN110197116B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
WO2020211242A1 (zh) 一种基于行为识别的方法、装置及存储介质
CN110533097B (zh) 一种图像清晰度识别方法、装置、电子设备及存储介质
CN109214337B (zh) 一种人群统计方法、装置、设备及计算机可读存储介质
CN108780519A (zh) 卷积神经网络中的结构学习
CN110909651A (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN111444828A (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
CN109117857B (zh) 一种生物属性的识别方法、装置及设备
CN113850238B (zh) 文档检测方法、装置、电子设备及存储介质
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
CN113177472A (zh) 动态手势识别方法、装置、设备以及存储介质
CN112749758A (zh) 图像处理方法、神经网络的训练方法、装置、设备和介质
CN111680678A (zh) 目标区域识别方法、装置、设备及可读存储介质
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN110321892A (zh) 一种图片筛选方法、装置及电子设备
CN112561879A (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN111784658A (zh) 一种用于人脸图像的质量分析方法和系统
CN114332927A (zh) 课堂举手行为检测方法、系统、计算机设备和存储介质
CN111611917A (zh) 模型训练方法、特征点检测方法、装置、设备及存储介质
CN114461078B (zh) 一种基于人工智能的人机交互方法
CN114494782B (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN115565010A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN112632309B (zh) 图像展示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925412

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02/02/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19925412

Country of ref document: EP

Kind code of ref document: A1