WO2023273297A1 - 基于多模态的活体检测方法、装置、电子设备及存储介质 - Google Patents

基于多模态的活体检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2023273297A1
WO2023273297A1 PCT/CN2022/071322 CN2022071322W WO2023273297A1 WO 2023273297 A1 WO2023273297 A1 WO 2023273297A1 CN 2022071322 W CN2022071322 W CN 2022071322W WO 2023273297 A1 WO2023273297 A1 WO 2023273297A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
feature
rgb
sequence
Prior art date
Application number
PCT/CN2022/071322
Other languages
English (en)
French (fr)
Inventor
李佼
戴磊
刘玉宇
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2023273297A1 publication Critical patent/WO2023273297A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Definitions

  • the present application relates to the technical field of artificial intelligence, and in particular to a multimodal-based living body detection method, device, electronic equipment, and storage medium.
  • Face liveness detection is an essential link for some projects with high sensitivity and high security requirements, such as: face payment, identity verification, etc.
  • the single-mode RGB live body is greatly affected by light.
  • the accuracy of live body detection is low due to inconspicuous imaging; On the screen, the accuracy of liveness detection is low due to the display of face information.
  • the present application proposes a multimodal-based living body detection method, device, electronic equipment, and storage medium.
  • the first aspect of the present application provides a multi-modality-based living body detection method, the method comprising:
  • the RGB image sequence, the IR image sequence and the depth image sequence of the target object are collected by a preset camera device, wherein the RGB image sequence contains multiple frames of RGB images, the IR image sequence contains multiple frames of IR images, and the depth image The sequence contains multiple frames of depth images;
  • a second aspect of the present application provides an electronic device, the electronic device includes a memory and a processor, the memory is used to store at least one computer-readable instruction, and the processor is used to execute the at least one computer-readable instruction to Implement the following steps:
  • the RGB image sequence, the IR image sequence and the depth image sequence of the target object are collected by a preset camera device, wherein the RGB image sequence contains multiple frames of RGB images, the IR image sequence contains multiple frames of IR images, and the depth image The sequence contains multiple frames of depth images;
  • a third aspect of the present application provides a computer-readable storage medium, the computer-readable storage medium stores at least one computer-readable instruction, and when the at least one computer-readable instruction is executed by a processor, the following steps are implemented:
  • the RGB image sequence, the IR image sequence and the depth image sequence of the target object are collected by a preset camera device, wherein the RGB image sequence contains multiple frames of RGB images, the IR image sequence contains multiple frames of IR images, and the depth image The sequence contains multiple frames of depth images;
  • a fourth aspect of the present application provides a multimodal living body detection device, wherein the device includes:
  • the collection module is used to collect the RGB image sequence, the IR image sequence and the depth image sequence of the target object by using the preset camera equipment, wherein the RGB image sequence contains multiple frames of RGB images, and the IR image sequence contains multiple frames IR image, the depth image sequence contains multiple frames of depth images;
  • a preprocessing module configured to preprocess each frame of RGB images in the RGB image sequence to obtain a target RGB image sequence
  • the pairing module is used to pair each frame of images in the target RGB image sequence, IR image sequence and depth image sequence according to the time sequence of image acquisition, to obtain each frame of modality images;
  • Extraction module for adopting optical flow method to extract the optical flow feature image of each frame of RGB image in the RGB image sequence
  • a combination module for combining each frame of modal images with the optical flow feature images of the corresponding frames to obtain each frame of the target image, and extracting the multi-modal feature set in each frame of the target image;
  • the input module is used to input the multi-frame multi-modal feature set into the pre-trained living body detection and classification model to perform live body detection and obtain the detection result.
  • the living body detection method, device, electronic equipment, and storage medium based on multimodality described in this application improve the accuracy of living body detection.
  • FIG. 1 is a flow chart of a multi-modality-based living body detection method provided in Embodiment 1 of the present application.
  • FIG. 2 is a structural diagram of a multimodal living body detection device provided in Embodiment 2 of the present application.
  • FIG. 3 is a schematic structural diagram of an electronic device provided in Embodiment 3 of the present application.
  • FIG. 1 is a flow chart of a multi-modality-based living body detection method provided in Embodiment 1 of the present application.
  • the multi-modality-based living body detection method can be applied to electronic devices.
  • the method provided by the application can be directly integrated on the electronic device.
  • the multimodal-based living body detection method specifically includes the following steps. According to different requirements, the order of the steps in the flow chart can be changed, and some of them can be omitted.
  • RGB image sequence includes multiple frames of RGB images
  • IR image sequence includes multiple frames of IR images
  • a depth image sequence contains multiple frames of depth images.
  • the preset camera equipment is integrated by multiple camera components, and a series of RGB images, IR images and depth images of the target object can be used through the preset camera settings. Specifically, continuous The RGB image sequence, the IR image sequence and the depth image sequence of the target object are collected to facilitate subsequent living body detection and recognition.
  • the preprocessing refers to performing normalization processing and brightness adjustment on each frame of RGB image in the RGB image sequence.
  • the preprocessing of each frame of RGB image in the RGB image sequence to obtain the target RGB image sequence includes:
  • the adjusted component images are superimposed to obtain the processed YCbCr image, and the processed YCbCr image is converted into an RGB image to obtain the target RGB image sequence.
  • each frame of RGB image is converted into a YCbCr image, and then each component in the YCbCr image, that is, the Y component, the Cb component and the Cr
  • the components are normalized to obtain the normalized component images.
  • the Y component is processed by normalizing the brightness in each frame of the RGB image, and the Cb component is used to represent RGB
  • the difference between the blue part of the image input signal and the brightness value of the RGB image signal is used to represent the difference between the red part of the RGB image input signal and the brightness value of the RGB image signal.
  • each frame of RGB image corresponds to an interpolation curve
  • the brightness of each normalized component image is adjusted according to the interpolation curve corresponding to each frame of RGB image in the RGB image sequence, so that during image processing, and Not only adjusting the Y component, but also adjusting the Cb component and Cr component of the image at the same time, not only adjusting the brightness of each frame of RGB image, but also maintaining the detailed information such as the texture or color characteristics of each frame of RGB image.
  • Each component of each frame of RGB image is normalized, and then the interpolation curve is used to adjust each component image. It is common for GRB images with different brightness, without using different algorithms according to different brightness regions. processing, thereby improving the efficiency of obtaining the target RGB image sequence.
  • the preprocessing of each frame of RGB image in the RGB image sequence to obtain the target RGB image sequence includes:
  • the target RGB image sequence after M frames of RGB image processing is obtained.
  • each frame of RGB images can have the same data level in each feature dimension, such as zero mean and unit variance, Further, image features that are not interesting for live detection and classification are filtered out, and the effectiveness of extracting image features is improved.
  • each frame of image includes acquisition time information, and according to the acquisition time information of each frame, the RGB image, IR image and depth image of the same time information are paired to obtain each frame of modality image.
  • the optical flow feature is obtained by using the optical flow method to extract the RGB image of the target object based on the preset camera equipment.
  • the optical flow feature refers to the spatial moving object on the observation imaging plane. The instantaneous speed of pixel movement, using the changes of pixels in the RGB image sequence in the time domain and the correlation between adjacent frames to find the relationship between the current frame and the previous frame.
  • the human face is not absolutely static, so after the optical flow feature is extracted by the optical flow method, for the real human face, the optical flow feature is irregular in the face part,
  • attack samples such as paper attack, the muscles of the face do not move, so the optical flow characteristics of the face part of the paper attack are regular.
  • the correct rate of living body detection is improved.
  • the extraction of the optical flow feature image of each frame of RGB image in the RGB image sequence using the optical flow method includes:
  • the displacement vector of each pixel of each frame of RGB images is estimated, and then the optical flow feature image of each frame is generated .
  • an optical flow method may be preset to calculate the optical flow, specifically, the preset optical flow method may be a Lucas-Kanade algorithm (abbreviated as the LK algorithm) or the like.
  • the preset optical flow method may be a Lucas-Kanade algorithm (abbreviated as the LK algorithm) or the like.
  • each frame of target image contains time-domain features and Spatial features, wherein the temporal features are used to characterize the image features of the optical flow feature image, and the spatial features are used to characterize the image features of the RGB image, the IR image and the depth image.
  • the extracting the multimodal feature set in each frame of the target image includes:
  • the first feature, the second feature, the third feature and the fourth feature are combined to determine a multimodal feature set for each frame.
  • each frame of the target image can be input into the AlexNet network feature extraction module to extract the first spatial feature of the RGB image, the second spatial feature of the IR image, the third spatial feature of the depth image, and Temporal features of optical flow feature images.
  • the above-mentioned multi-modal feature set can also be stored in a node of a block chain.
  • the living body detection classification model can be pre-trained, and after obtaining the multi-modal feature set of each frame of the target object, input the multi-frame multi-modal feature set of the target object into the pre-trained In the living body detection classification model, and according to the living body detection classification model, it is identified whether the target object is a living body.
  • the training process of the living body detection classification model includes:
  • first sample set contains a preset first number of live objects and a first sample image corresponding to each live object
  • second sample set Containing a preset second number of non-living objects and a second sample image corresponding to each non-living object, wherein the difference between the preset first number and the preset second number is smaller than a preset deviation threshold ;
  • test pass rate is greater than or equal to the preset pass rate threshold, it is determined that the training of the living body detection classification model is over; if the test pass rate is less than the preset pass rate threshold, increase the number of training sets, and re-execute the live body detection classification model training.
  • the deviation threshold when training the living body detection classification model, in order to ensure the classification accuracy of the trained living body detection classification model and ensure the balance between the first sample set and the second sample set, the deviation threshold can be set in advance and ensure that a deviation value between the preset first number of living objects and the preset second number of non-living objects is smaller than the preset deviation threshold.
  • the dividing the first sample set and the second sample set into a training set and a test set according to a preset division rule includes:
  • the first RGB image, the first IR image and the first depth image of each frame are paired according to the time sequence of image acquisition to obtain the first modality image of each frame, and each frame is paired according to the time sequence of image acquisition pairing the second RGB image, the second IR image and the second depth image to obtain a second mode image for each frame;
  • the multi-frame multi-modal first feature set and the multi-frame multi-modal second feature set are divided into a training set and a test set according to a preset division rule.
  • said dividing the multi-frame multi-modal first feature set and the multi-frame multi-modal second feature set into a training set and a test set according to preset division rules includes:
  • the remaining multimodal first feature set and multimodal second feature set are determined as the test set.
  • the division rule can be set in advance, and the proportion of the training set is determined to be 70%, and the proportion of the test set is 30%, and the multimodal first feature set corresponding to the training set is determined according to the preset division rule and determine the second number of multimodal second feature sets corresponding to the training set, so that the first number is equal to the second number.
  • the preset division rules can ensure that the multimodal first feature set of the living object in the training set is equal to the multimodal second feature set of the non-living object, ensuring that the living body in the subsequent living body detection classification model
  • the balance of the samples of the first feature set of the object and the second feature set of the non-living object further improves the accuracy of the liveness detection of the liveness detection classification model.
  • the RGB image is a general input modality for human face liveness detection.
  • the RGB image can effectively judge the state of living and non-living bodies under the condition of suitable light, but under the condition of dim light or strong light Under the circumstances, due to the inconspicuous imaging, it will lead to errors in the judgment of living body detection.
  • the IR image and the depth image will not present different images due to the light.
  • the introduction of the IR image and the depth image overcomes the problem of living body detection and judgment errors caused by dim light or strong light conditions.
  • the first spatial feature of the RGB image, the second spatial feature of the IR image, the third spatial feature of the depth image and the timing feature of the optical flow feature image are considered, and multiple modalities are fused
  • the robustness and classification accuracy of the living body detection classification model are improved.
  • the multi-frame multi-modal feature set of the target object is obtained, the multi-frame multi-modal feature set is input to the pre-training Liveness detection is performed in a good liveness detection classification model. When performing liveness detection, liveness and non-livingness can be effectively detected, thereby improving the accuracy of liveness detection.
  • the multi-modality-based living body detection method described in this embodiment considers the first spatial feature of the RGB image, the second spatial feature of the IR image, and the The third spatial feature of the depth image and the temporal feature of the optical flow feature image are fused with multiple modalities for model training, which improves the robustness and classification accuracy of the living body detection classification model.
  • the frame multi-modal feature set is used, the multi-frame multi-modal feature set is input into the pre-trained live body detection classification model for live body detection.
  • FIG. 2 is a structural diagram of a multimodal living body detection device provided in Embodiment 2 of the present application.
  • the multimodality-based living body detection device 20 may include a plurality of functional modules composed of program code segments.
  • the program codes of the various program segments in the multi-modality-based living body detection device 20 can be stored in the memory of the electronic device, and executed by the at least one processor to execute (see FIG. 1 for details) based on the multi-mode Modal liveness detection functionality.
  • the multi-modality-based living body detection device 20 can be divided into multiple functional modules according to the functions it performs.
  • the functional modules may include: a collection module 201 , a preprocessing module 202 , a pairing module 203 , an extraction module 204 , a combination module 205 and an input module 206 .
  • the module referred to in this application refers to a series of computer-readable instruction segments that can be executed by at least one processor and can complete fixed functions, and are stored in a memory. In this embodiment, the functions of each module will be described in detail in subsequent embodiments.
  • the collection module 201 is used to collect the RGB image sequence, the IR image sequence and the depth image sequence of the target object by using a preset imaging device, wherein the RGB image sequence contains multiple frames of RGB images, and the IR image sequence contains multiple frames. A frame of IR image, the depth image sequence contains multiple frames of depth images.
  • the preprocessing module 202 is configured to preprocess each frame of RGB image in the RGB image sequence to obtain a target RGB image sequence.
  • the pairing module 203 is used to pair each frame of images in the target RGB image sequence, IR image sequence and depth image sequence according to the time sequence of image acquisition, to obtain each frame of modality images.
  • the extraction module 204 is configured to extract the optical flow feature image of each frame of RGB image in the RGB image sequence by using the optical flow method.
  • the combination module 205 is configured to combine each frame of modal images with the corresponding frame of optical flow feature images to obtain each frame of target image, and extract the multi-modal feature set in each frame of target image.
  • the input module 206 is configured to input the multi-frame multi-modal feature set into the pre-trained living body detection and classification model for living body detection, and obtain the detection result.
  • the multi-modality-based living body detection device described in this embodiment considers the first spatial feature of the RGB image, the second spatial feature of the IR image, and the third spatial feature of the depth image when training the living body detection classification model. Spatial features and temporal features of optical flow feature images, model training after fusion of multiple modalities, improves the robustness and classification accuracy of the living body detection classification model, and obtains the multi-frame multi-modal features of the target object When collecting, the multi-frame multi-modal feature set is input into the pre-trained living body detection classification model for live body detection.
  • the optical flow method is used to extract the optical flow feature image of each frame of RGB image in the RGB image sequence, by extracting the optical flow feature image of each frame of RGB image in the RGB image sequence, and extracting The obtained optical flow feature images are input into the subsequent living body detection classification model, thereby improving the accuracy of living body detection; finally, preprocessing is performed on each frame of RGB image in the RGB image sequence, so that each frame of RGB image is in the Each feature dimension can have the same data level, such as zero mean and unit variance, thereby filtering out image features that are not interesting for liveness detection and classification, and improving the effectiveness of extracting image features.
  • the electronic device 3 includes a memory 31 , at least one processor 32 , at least one communication bus 33 and a transceiver 34 .
  • the structure of the electronic device shown in Figure 3 does not constitute a limitation of the embodiment of the present application, it can be a bus structure or a star structure, and the electronic device 3 can also include a ratio diagram more or less other hardware or software, or a different arrangement of components.
  • the electronic device 3 is an electronic device that can automatically perform numerical calculation and/or information processing according to preset or stored instructions, and its hardware includes but not limited to microprocessors, application-specific integrated circuits , programmable gate arrays, digital processors and embedded devices, etc.
  • the electronic device 3 may also include a client device, which includes but is not limited to any electronic product that can interact with the client through a keyboard, mouse, remote control, touch pad, or voice-activated device, for example, Personal computers, tablets, smartphones, digital cameras, etc.
  • the electronic device 3 is only an example, and other existing or future electronic products that can be adapted to this application should also be included in the scope of protection of this application, and are included here by reference .
  • the memory 31 is used to store program codes and various data, such as the multimodal living body detection device 20 installed in the electronic device 3 , and is implemented during the operation of the electronic device 3 High-speed, automatic completion of program or data access.
  • Described memory 31 comprises nonvolatile memory and volatile memory, such as read-only memory (Read-Only Memory, ROM), programmable read-only memory (Programmable Read-Only Memory, PROM), erasable programmable only memory Read-Only Memory (Erasable Programmable Read-Only Memory, EPROM), One-time Programmable Read-Only Memory (OTPROM), Electronically Erasable Programmable Read-Only Memory (Electrically-Erasable Programmable Read-Only Memory , EEPROM), CD-ROM (Compact Disc Read-Only Memory, CD-ROM) or other optical disk storage, disk storage, tape storage, or any other computer-readable medium that can be used to carry or store data.
  • Read-Only Memory Read-Only Memory
  • PROM programmable
  • the at least one processor 32 may be composed of an integrated circuit, for example, may be composed of a single packaged integrated circuit, or may be composed of multiple integrated circuits with the same function or different functions packaged, including a Or a combination of multiple central processing units (Central Processing unit, CPU), microprocessors, digital processing chips, graphics processors, and various control chips.
  • the at least one processor 32 is the control core (Control Unit) of the electronic device 3, and uses various interfaces and lines to connect the various components of the entire electronic device 3, by running or executing programs stored in the memory 31 or module, and call the data stored in the memory 31 to execute various functions of the electronic device 3 and process data.
  • Control Unit Control Unit
  • the at least one communication bus 33 is configured to realize connection and communication between the memory 31 and the at least one processor 32 and so on.
  • the electronic device 3 may also include a power supply (such as a battery) for supplying power to various components.
  • the power supply may be logically connected to the at least one processor 32 through a power management device, thereby Realize the functions of managing charging, discharging, and power consumption management.
  • the power supply may also include one or more DC or AC power supplies, recharging devices, power failure detection circuits, power converters or inverters, power status indicators and other arbitrary components.
  • the electronic device 3 may also include various sensors, Bluetooth modules, Wi-Fi modules, etc., which will not be repeated here.
  • the above-mentioned integrated units implemented in the form of software function modules can be stored in a computer-readable storage medium.
  • the above-mentioned software function modules are stored in a storage medium, and include several instructions to make a computer device (which may be a personal computer, electronic device, or network device, etc.) or a processor (processor) execute the methods described in various embodiments of the present application part.
  • the at least one processor 32 can execute the operating device of the electronic device 3 and installed various application programs (such as the multi-modality-based living body detection device 20) , program code, etc., for example, each of the above-mentioned modules.
  • various application programs such as the multi-modality-based living body detection device 20
  • program code etc., for example, each of the above-mentioned modules.
  • Program codes are stored in the memory 31 , and the at least one processor 32 can invoke the program codes stored in the memory 31 to execute related functions.
  • the various modules described in FIG. 2 are program codes stored in the memory 31, and are executed by the at least one processor 32, so as to realize the functions of the various modules to achieve multimodal living body purpose of testing.
  • the memory 31 stores a plurality of computer-readable instructions, and the plurality of computer-readable instructions are executed by the at least one processor 32 to realize the function of living body detection based on multimodality .
  • the program code may be divided into one or more modules/units, and the one or more modules/units are stored in the memory 31 and executed by the processor 32 to complete this Application.
  • the one or more modules/units may be a series of computer-readable instruction segments capable of accomplishing specific functions, and the instruction segments are used to describe the execution process of the computer program in the electronic device 3 .
  • the program code can be divided into an acquisition module 201 , a preprocessing module 202 , a pairing module 203 , an extraction module 204 , a combination module 205 and an input module 206 .
  • the computer-readable storage medium may be non-volatile or volatile.
  • the computer-readable storage medium may mainly include a program storage area and a data storage area, wherein the program storage area may store an operating system, an application program required by at least one function, etc.; The data created using the node, etc.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with each other using cryptographic methods. Each data block contains a batch of network transaction information, which is used to verify its Validity of information (anti-counterfeiting) and generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.
  • the modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, and may be located in one place or distributed to multiple network units. Part or all of the modules can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional module in each embodiment of the present application may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units can be implemented in the form of hardware, or in the form of hardware plus software function modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多模态的活体检测方法，包括：采集目标对象的RGB图像序列、IR图像序列和深度图像序列；对目标对象的RGB图像序列进行预处理，得到目标RGB图像序列；对目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；提取每一帧RGB图像的光流特征图像；提取多模态特征集；将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。还公开了一种基于多模态的活体检测装置、电子设备及存储介质。

Description

基于多模态的活体检测方法、装置、电子设备及存储介质
本申请要求于2021年6月30日提交中国专利局，申请号为202110735343.2申请名称为“基于多模态的活体检测方法、装置、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，具体涉及一种基于多模态的活体检测方法、装置、电子设备及存储介质。
背景技术
人脸活体检测对于一些敏感度高，安全性要求高的项目，例如：人脸支付，身份核验等，是必不可少的一个环节。发明人发现现有的活体检测方案中，多是基于单模态的活体检测方案，例如，RGB活体检测，IR活体检测等。
然而，在进行活体检测时，单模态的RGB活体受光线影响较大，在昏暗或者强光的情况下，由于成像不明显导致活体检测准确率低；单模态的IR活体对于高分辨率的屏幕，由于呈现出人脸的信息导致活体检测准确率低。
因此，有必要提出一种可以快速准确的进行活体检测的方法。
发明内容
本申请提出一种基于多模态的活体检测方法、装置、电子设备及存储介质。
本申请的第一方面提供一种基于多模态的活体检测方法，所述方法包括：
采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；
对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；
按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；
采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；
将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集；
将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
本申请的第二方面提供一种电子设备，所述电子设备包括存储器及处理器，所述存储器用于存储至少一个计算机可读指令，所述处理器用于执行所述至少一个计算机可读指令以实现以下步骤：
采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；
对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；
按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；
采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；
将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提 取所述每一帧目标图像中的多模态特征集；
将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
本申请的第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个计算机可读指令，所述至少一个计算机可读指令被处理器执行时实现以下步骤：
采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；
对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；
按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；
采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；
将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集；
将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
本申请的第四方面提供一种基于多模态的活体检测装置，其中，所述装置包括：
采集模块，用于采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；
预处理模块，用于对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；
配对模块，用于按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；
提取模块，用于采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；
组合模块，用于将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集；
输入模块，用于将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
本申请所述的基于多模态的活体检测方法、装置、电子设备及存储介质，提高了活体检测的正确率。
附图说明
图1是本申请实施例一提供的基于多模态的活体检测方法的流程图。
图2是本申请实施例二提供的基于多模态的活体检测装置的结构图。
图3是本申请实施例三提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
实施例一
图1是本申请实施例一提供的基于多模态的活体检测方法的流程图。
在本实施例中，所述基于多模态的活体检测方法可以应用于电子设备中，对于需要进行基于多模态的活体检测的电子设备，可以直接在电子设备上集成本申请的方法所提供的基于多模态的活体检测的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在电子设备中。
如图1所示，所述基于多模态的活体检测方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像。
本实施例中，所述预设的摄像设备是由多个摄像组件集成的，通过所述预设的摄像设置可以采用目标对象的一系列RGB图像、IR图像和深度图像，具体地，需要连续采集所述目标对象的RGB图像序列、IR图像序列和深度图像序列，便于后续进行活体检测识别。
S12，对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列。
本实施例中，所述预处理是指对所述RGB图像序列中每一帧RGB图像进行归一化处理和亮度调整。
在一个可选的实施例中，所述对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列包括：
将所述RGB图像序列中每一帧RGB图像转化为YCbCr图像；
分别对所述YCbCr图像中的各个分量进行归一化处理，得到归一化后的各个分量图像；
根据所述RGB图像序列中每一帧RGB图像对应的插值曲线对归一化后的各个分量图像进行亮度调整，得到调整后的各个分量图像；
将调整后的各个分量图像进行叠加以得到处理后的YCbCr图像，并将处理后的YCbCr图像转化为RGB图像，得到目标RGB图像序列。
本实施例中，在对所述RGB图像序列中每一帧RGB图像处理过程中，将每一帧RGB图像转换为YCbCr图像，然后对YCbCr图像中的各个分量，即Y分量、Cb分量和Cr分量进行归一化处理，得到归一化后的各个分量图像，具体地，所述Y分量是通过归一化处理所述每一帧RGB图像中的明亮度，所述Cb分量用以表征RGB图像输入信号蓝色部分与RGB图像信号亮度值之间的差异，所述用以表征RGB图像输入信号红色部分与RGB图像信号亮度值之间的差异。
本实施例中，每一帧RGB图像对应一个插值曲线，根据所述RGB图像序列中每一帧RGB图像对应的插值曲线对归一化后的各个分量图像进行亮度调整，使得图像处理时，并不仅仅是调节Y分量，还可以同时调节图像Cb分量和Cr分量，不仅调节了每一帧RGB图像的亮度，还保持了每一帧RGB图像的纹理或颜色特征等细节信息，本实施例通过对每一帧RGB图像的各个分量分别归一化处理，再由插值曲线对各个分量图像进行调节，对包含不同的亮度的GRB图像均通用，而不需要根据不同的亮度区域采用不同的算法进行处理，从而提高了得到目标RGB图像序列的效率。
在其他可选的实施例中，所述对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列包括：
计算所述RGB图像序列的均值和方差值；
计算所述RGB图像序列中的每一帧RGB图像与所述均值之间的差值，得到每一帧图像的差值；
计算所述每一帧图像的差值与所述方差值之商，得到每一帧图像的商值，并对所述每一帧图像的商值进行归一化处理，得到目标RGB图像序列。
示例性地，若所述RGB图像序列中包含有M帧RGB图像，则针对M帧RGB图像中的每一帧RGB图像，分别进行先减去所述RGB图像序列的均值，再除以所述RGB图像序列的方差值后进行归一化处理，得到M帧RGB图像处理后的目标RGB图像序列。
本实施例中，通过对所述RGB图像序列中的每一帧RGB图像进行预处理，使得每一帧RGB图像在每一个特征维度上能够具有相同的数据级别，例如具有零均值和单位方差，进而滤除对于活体检测分类而言不感兴趣的图像特征，提高提取图像特征的有效性。
S13，按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像。
本实施例中，每一帧图像包含有采集时间信息，根据每一帧的采集时间信息，将同一时间信息的RGB图像、IR图像和深度图像进行配对，得到每一帧模态图像。
S14，采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像。
本实施例中，光流特征是通过采用光流法基于预设的摄像设备采集目标对象的RGB图像中提取得到的，具体地，所述光流特征是指空间运动物体在观察成像平面上的像素运动的瞬间速度，利用RGB图像序列中像素在时间域上的变化以及相邻帧之间的相关性找到当前帧和上一帧之间的关系。
本实施例中，针对目标对象的活体检测，人脸不是绝对静止的，那么用光流法提取光流特征之后，对于真实的人脸而言，光流特征在人脸部分是不规则的，而对于攻击样本而言，例如纸张攻击，人脸的肌肉是不会动的，所以纸张攻击的人脸部分光流特征是规则的。
本实施例通过提取所述RGB图像序列中每一帧RGB图像的光流特征图像，并将提取到的光流特征图像输入至后续的活体检测分类模型中，进而提高了活体检测的正确率。
在一个可选的实施例中，所述采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像包括：
对所述RGB图像序列中的每相邻两帧RGB图像进行光流计算，获取每一帧RGB图像的每个像素的位移矢量，并根据所述每一帧RGB图像的每个像素的位移矢量生成对应帧的光流特征图像。
本实施例中，通过对所述RGB图像序列中的相邻两帧RGB图像进行光流计算，估算出每一帧RGB图像的每个像素的位移矢量，进而生成每一帧的光流特征图像。
本实施例中，可以预先设定光流法进行光流计算，具体地，所述预设的光流法可以是Lucas-Kanade算法(简称为LK算法)等。
S15，将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集。
本实施例中，为了确保后续活体检测的正确率，将每一帧的4中模态图进行组合，得到每一帧目标图像，具体地，所述每一帧目标图像中包含有时域特征和空域特征，其中，所述时域特征用以表征光流特征图像的图像特征，所述空域特征用以表征所述RGB图像、IR图像及深度图像的图像特征。
在一个可选的实施例中，所述提取所述每一帧目标图像中的多模态特征集包括：
提取所述每一帧目标图像中的RGB图像的第一空间特征，形成第一特征；
提取所述每一帧目标图像中的IR图像的第二空间特征，形成第二特征；
提取所述每一帧目标图像中的深度图像的第三空间特征，形成第三特征；
提取所述每一帧目标图像中的光流特征图像的时序特征，形成第四特征；
将所述第一特征、所述第二特征、所述第三特征和所述第四特征进行合并，确定为每一帧的多模态特征集。
本实施例中，可以将所述每一帧目标图像输入至AlexNet网络特征提取模块中，分别提取出RGB图像的第一空间特征，IR图像的第二空间特征、深度图像的第三空间特征及光流特征图像的时序特征。
需要强调的是，为进一步保证上述多模态特征集的私密和安全性，上述多模态特征集还可以存储于一区块链的节点中。
S16，将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
本实施例中，可以预先训练活体检测分类模型，在得到所述目标对象的每一帧的多模态特征集之后，将所述目标对象的多帧多模态特征集输入至预先训练好的活体检测分类模型中，并根据所述活体检测分类模型识别出所述目标对象是否为活体。
具体地，所述活体检测分类模型的训练过程包括：
获取第一样本集和第二样本集，其中，所述第一样本集中包含有预设第一数量的活体对象及每个活体对象对应的第一样本图像，所述第二样本集中包含有预设第二数量的非活体对象及每个非活体对象对应的第二样本图像，其中，所述预设第一数量和预设第二数量之间的差值小于预设的偏差阈值；
将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集；
将所述训练集输入预设神经网络中进行训练，得到活体检测分类模型；
将所述测试集输入至所述活体检测分类模型中进行测试，并计算测试通过率；
若所述测试通过率大于或者等于预设通过率阈值，确定所述活体检测分类模型训练结束；若所述测试通过率小于预设通过率阈值，增加训练集的数量，重新进行活体检测分类模型的训练。
本实施例中，在进行活体检测分类模型训练时，为了确保训练得到的活体检测分类模型的分类准确率，保证所述第一样本集和第二样本集的均衡性，可以预先设置偏差阈值，确保预设的第一数量的活体对象与预设的第二数量的非活体对象之间的偏差值小于所述预设的偏差阈值。
进一步地，所述将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集包括：
提取每个所述活体对象的每张第一样本图像的第一RGB图像、第一IR图像和第一深度图像，及提取每个所述非活体对象的每张第二样本图像的第二RGB图像、第二IR图像和第二深度图像；
按照图像采集的时间先后顺序对每一帧第一RGB图像、第一IR图像和第一深度图像进行配对，得到每一帧第一模态图像，及按照图像采集的时间先后顺序对每一帧第二RGB图像、第二IR图像和第二深度图像进行配对，得到每一帧第二模态图像；
采用光流法提取所述每一帧第一RGB图像的第一光流特征图像，及采用光流法提取所述每一帧第二RGB图像的第二光流特征图像；
将每一帧第一模态图像与对应帧的第一光流特征图像进行组合，得到每一帧第一目标图像，及将每一帧第二模态图像与对应帧的第二光流特征图像进行组合，得到每一帧第二目标图像；
提取所述每一帧第一目标图像中的多模态第一特征集，及提取所述每一帧第二目标图像中的多模态第二特征集；
将多帧多模态第一特征集和多帧多模态第二特征集按照预设的划分规则划分出训练集和测试集。
进一步地，所述将多帧多模态第一特征集和多帧多模态第二特征集按照预设的划分规则划分出训练集和测试集包括：
根据所述预设的划分规则确定训练集对应的多模态第一特征集的第一数量，及确定训练集对应的多模态第二特征集的第二数量，其中，所述第一数量等于所述第二数量；
将剩余的多模态第一特征集和多模态第二特征集确定为测试集。
本实施例中，可以预先设置划分规则，确定所述训练集占比为70％，测试集占比为30％， 根据预设的划分规则确定所述训练集对应的多模态第一特征集的第一数量，及确定训练集对应的多模态第二特征集的第二数量，使得所述第一数量等于所述第二数量。
本实施例中，通过预设的划分规则可以确保所述训练集中的活体对象的多模态第一特征集等于非活体对象的多模态第二特征集，确保可后续活体检测分类模型中活体对象的第一特征集和非活体对象的第二特征集的样本的均衡性，进而提高了活体检测分类模型的活体检测的准确率。
本实施例中，RGB图像对于人脸活体检测而言是一种通用的输入模态，RGB图像在光线合适的情况下可以有效的判断活体和非活体的状态，但是在光线昏暗或者强光条件下，由于成像不明显会导致活体检测判断错误。
本实施例中，IR图像和深度图像不会因为光线的原因而呈现不同的图像，本实施例通过引入IR图像和深度图像来克服由于光线昏暗或者强光条件下导致的活体检测判断错误的问题，在进行活体检测分类模型训练时，考虑了RGB图像的第一空间特征、IR图像的第二空间特征、深度图像的第三空间特征和光流特征图像的时序特征，对多个模态进行融合后进行模型训练，提高了活体检测分类模型的鲁棒性和分类准确率，在得到所述目标对象的多帧多模态特征集时，将所述多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，在进行活体检测时，可以有效的进行活体和非活体检测，进而提高活体检测的准确率。
综上所述，本实施例所述的基于多模态的活体检测方法，一方面，在进行活体检测分类模型训练时，考虑了RGB图像的第一空间特征、IR图像的第二空间特征、深度图像的第三空间特征和光流特征图像的时序特征，对多个模态进行融合后进行模型训练，提高了活体检测分类模型的鲁棒性和分类准确率，在得到所述目标对象的多帧多模态特征集时，将所述多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，在进行活体检测时，可以有效的进行活体和非活体检测，进而提高活体检测的准确率；另一方面，采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像，通过提取所述RGB图像序列中每一帧RGB图像的光流特征图像，并将提取到的光流特征图像输入至后续的活体检测分类模型中，进而提高了活体检测的正确率；最后，对所述RGB图像序列中每一帧RGB图像进行预处理，使得每一帧RGB图像在每一个特征维度上能够具有相同的数据级别，例如具有零均值和单位方差，进而滤除对于活体检测分类而言不感兴趣的图像特征，提高提取图像特征的有效性。
实施例二
图2是本申请实施例二提供的基于多模态的活体检测装置的结构图。
在一些实施例中，所述基于多模态的活体检测装置20可以包括多个由程序代码段所组成的功能模块。所述基于多模态的活体检测装置20中的各个程序段的程序代码可以存储于电子设备的存储器中，并由所述至少一个处理器所执行，以执行(详见图1描述)基于多模态的活体检测的功能。
本实施例中，所述基于多模态的活体检测装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：采集模块201、预处理模块202、配对模块203、提取模块204、组合模块205及输入模块206。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
采集模块201，用于采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像。
预处理模块202，用于对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列。
配对模块203，用于按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序 列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像。
提取模块204，用于采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像。
组合模块205，用于将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集。
输入模块206，用于将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
本实施例所述的基于多模态的活体检测装置，一方面，在进行活体检测分类模型训练时，考虑了RGB图像的第一空间特征、IR图像的第二空间特征、深度图像的第三空间特征和光流特征图像的时序特征，对多个模态进行融合后进行模型训练，提高了活体检测分类模型的鲁棒性和分类准确率，在得到所述目标对象的多帧多模态特征集时，将所述多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，在进行活体检测时，可以有效的进行活体和非活体检测，进而提高活体检测的准确率；另一方面，采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像，通过提取所述RGB图像序列中每一帧RGB图像的光流特征图像，并将提取到的光流特征图像输入至后续的活体检测分类模型中，进而提高了活体检测的正确率；最后，对所述RGB图像序列中每一帧RGB图像进行预处理，使得每一帧RGB图像在每一个特征维度上能够具有相同的数据级别，例如具有零均值和单位方差，进而滤除对于活体检测分类而言不感兴趣的图像特征，提高提取图像特征的有效性。
实施例三
参阅图3所示，为本申请实施例三提供的电子设备的结构示意图。在本申请较佳实施例中，所述电子设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图3示出的电子设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述电子设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储程序代码和各种数据，例如安装在所述电子设备3中的基于多模态的活体检测装置20，并在电子设备3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括非易失性存储器和易失性存储器，比如只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述电子设备3的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备3的各个部件，通过运行或执行存储在所述 存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行电子设备3的各种功能和处理数据。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述电子设备3还可以包括给各个部件供电的电源(比如电池)，可选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述电子设备3的操作装置以及安装的各类应用程序(如所述的基于多模态的活体检测装置20)、程序代码等，例如，上述的各个模块。
所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到基于多模态的活体检测的目的。
在本申请的一个实施例中，所述存储器31存储多个计算机可读指令，所述多个计算机可读指令被所述至少一个处理器32所执行以实现基于多模态的活体检测的功能。
示例性的，所述程序代码可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器32执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在所述电子设备3中的执行过程。例如，所述程序代码可以被分割成采集模块201、预处理模块202、配对模块203、提取模块204、组合模块205及输入模块206。
具体地，所述至少一个处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
进一步地，所述计算机可读存储介质可以是非易失性，也可以是易失性。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。本申请中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种基于多模态的活体检测方法，其中，所述方法包括：
    采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；
    对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；
    按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；
    采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；
    将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集；
    将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
  2. 如权利要求1所述的基于多模态的活体检测方法，其中，所述活体检测分类模型的训练过程包括：
    获取第一样本集和第二样本集，其中，所述第一样本集中包含有预设第一数量的活体对象及每个活体对象对应的第一样本图像，所述第二样本集中包含有预设第二数量的非活体对象及每个非活体对象对应的第二样本图像，其中，所述预设第一数量和预设第二数量之间的差值小于预设的偏差阈值；
    将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集；
    将所述训练集输入预设神经网络中进行训练，得到活体检测分类模型；
    将所述测试集输入至所述活体检测分类模型中进行测试，并计算测试通过率；
    若所述测试通过率大于或者等于预设通过率阈值，确定所述活体检测分类模型训练结束；若所述测试通过率小于预设通过率阈值，增加训练集的数量，重新进行活体检测分类模型的训练。
  3. 如权利要求2所述的基于多模态的活体检测方法，其中，所述将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集包括：
    提取每个所述活体对象的每张第一样本图像的第一RGB图像、第一IR图像和第一深度图像，及提取每个所述非活体对象的每张第二样本图像的第二RGB图像、第二IR图像和第二深度图像；
    按照图像采集的时间先后顺序对每一帧第一RGB图像、第一IR图像和第一深度图像进行配对，得到每一帧第一模态图像，及按照图像采集的时间先后顺序对每一帧第二RGB图像、第二IR图像和第二深度图像进行配对，得到每一帧第二模态图像；
    采用光流法提取所述每一帧第一RGB图像的第一光流特征图像，及采用光流法提取所述每一帧第二RGB图像的第二光流特征图像；
    将每一帧第一模态图像与对应帧的第一光流特征图像进行组合，得到每一帧第一目标图像，及将每一帧第二模态图像与对应帧的第二光流特征图像进行组合，得到每一帧第二目标图像；
    提取所述每一帧第一目标图像中的多模态第一特征集，及提取所述每一帧第二目标图像中的多模态第二特征集；
    将多帧多模态第一特征集和多帧多模态第二特征集按照预设的划分规则划分出训练集和测试集。
  4. 如权利要求3所述的基于多模态的活体检测方法，其中，所述将多帧多模态第一特征集和多帧多模态第二特征集按照预设的划分规则划分出训练集和测试集包括：
    根据所述预设的划分规则确定训练集对应的多模态第一特征集的第一数量，及确定训练集对应的多模态第二特征集的第二数量，其中，所述第一数量等于所述第二数量；
    将剩余的多模态第一特征集和多模态第二特征集确定为测试集。
  5. 如权利要求1所述的基于多模态的活体检测方法，其中，所述对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列包括：
    将所述RGB图像序列中每一帧RGB图像转化为YCbCr图像；
    分别对所述YCbCr图像中的各个分量进行归一化处理，得到归一化后的各个分量图像；
    根据所述RGB图像序列中每一帧RGB图像对应的插值曲线对归一化后的各个分量图像进行亮度调整，得到调整后的各个分量图像；
    将调整后的各个分量图像进行叠加以得到处理后的YCbCr图像，并将处理后的YCbCr图像转化为RGB图像，得到目标RGB图像序列。
  6. 如权利要求1所述的基于多模态的活体检测方法，其中，所述采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像包括：
    对所述RGB图像序列中的每相邻两帧RGB图像进行光流计算，获取每一帧RGB图像的每个像素的位移矢量，并根据所述每一帧RGB图像的每个像素的位移矢量生成对应帧的光流特征图像。
  7. 如权利要求1所述的基于多模态的活体检测方法，其中，所述提取所述每一帧目标图像中的多模态特征集包括：
    提取所述每一帧目标图像中的RGB图像的第一空间特征，形成第一特征；
    提取所述每一帧目标图像中的IR图像的第二空间特征，形成第二特征；
    提取所述每一帧目标图像中的深度图像的第三空间特征，形成第三特征；
    提取所述每一帧目标图像中的光流特征图像的时序特征，形成第四特征；
    将所述第一特征、所述第二特征、所述第三特征和所述第四特征进行合并，确定为每一帧的多模态特征集。
  8. 一种电子设备，其中，所述电子设备包括存储器及处理器，所述存储器用于存储至少一个计算机可读指令，所述处理器用于执行所述至少一个计算机可读指令以实现以下步骤：
    采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；
    对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；
    按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；
    采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；
    将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集；
    将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
  9. 如权利要求8所述的电子设备，其中，所述处理器执行所述至少一个计算机可读指令以实现所述活体检测分类模型的训练过程时，具体包括：
    获取第一样本集和第二样本集，其中，所述第一样本集中包含有预设第一数量的活体对象及每个活体对象对应的第一样本图像，所述第二样本集中包含有预设第二数量的非活体对象及每个非活体对象对应的第二样本图像，其中，所述预设第一数量和预设第二数量之间的差值小于预设的偏差阈值；
    将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集；
    将所述训练集输入预设神经网络中进行训练，得到活体检测分类模型；
    将所述测试集输入至所述活体检测分类模型中进行测试，并计算测试通过率；
    若所述测试通过率大于或者等于预设通过率阈值，确定所述活体检测分类模型训练结束；若所述测试通过率小于预设通过率阈值，增加训练集的数量，重新进行活体检测分类模型的训练。
  10. 如权利要求9所述的电子设备，其中，所述处理器执行所述至少一个计算机可读指令以实现所述将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集时，具体包括：
    提取每个所述活体对象的每张第一样本图像的第一RGB图像、第一IR图像和第一深度图像，及提取每个所述非活体对象的每张第二样本图像的第二RGB图像、第二IR图像和第二深度图像；
    按照图像采集的时间先后顺序对每一帧第一RGB图像、第一IR图像和第一深度图像进行配对，得到每一帧第一模态图像，及按照图像采集的时间先后顺序对每一帧第二RGB图像、第二IR图像和第二深度图像进行配对，得到每一帧第二模态图像；
    采用光流法提取所述每一帧第一RGB图像的第一光流特征图像，及采用光流法提取所述每一帧第二RGB图像的第二光流特征图像；
    将每一帧第一模态图像与对应帧的第一光流特征图像进行组合，得到每一帧第一目标图像，及将每一帧第二模态图像与对应帧的第二光流特征图像进行组合，得到每一帧第二目标图像；
    提取所述每一帧第一目标图像中的多模态第一特征集，及提取所述每一帧第二目标图像中的多模态第二特征集；
    将多帧多模态第一特征集和多帧多模态第二特征集按照预设的划分规则划分出训练集和测试集。
  11. 如权利要求8所述的电子设备，其中，所述处理器执行所述至少一个计算机可读指令以实现所述对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列时，具体包括：
    将所述RGB图像序列中每一帧RGB图像转化为YCbCr图像；
    分别对所述YCbCr图像中的各个分量进行归一化处理，得到归一化后的各个分量图像；
    根据所述RGB图像序列中每一帧RGB图像对应的插值曲线对归一化后的各个分量图像进行亮度调整，得到调整后的各个分量图像；
    将调整后的各个分量图像进行叠加以得到处理后的YCbCr图像，并将处理后的YCbCr图像转化为RGB图像，得到目标RGB图像序列。
  12. 如权利要求8所述的电子设备，其中，所述处理器执行所述至少一个计算机可读指令以实现所述采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像时，具体包括：
    对所述RGB图像序列中的每相邻两帧RGB图像进行光流计算，获取每一帧RGB图像的每个像素的位移矢量，并根据所述每一帧RGB图像的每个像素的位移矢量生成对应帧的光流特征图像。
  13. 如权利要求8所述的电子设备，其中，所述处理器执行所述至少一个计算机可读指令以实现所述提取所述每一帧目标图像中的多模态特征集时，具体包括：
    提取所述每一帧目标图像中的RGB图像的第一空间特征，形成第一特征；
    提取所述每一帧目标图像中的IR图像的第二空间特征，形成第二特征；
    提取所述每一帧目标图像中的深度图像的第三空间特征，形成第三特征；
    提取所述每一帧目标图像中的光流特征图像的时序特征，形成第四特征；
    将所述第一特征、所述第二特征、所述第三特征和所述第四特征进行合并，确定为每一帧的多模态特征集。
  14. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有至少一个计算机可读指令，所述至少一个计算机可读指令被处理器执行时实现以下步骤：
    采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；
    对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；
    按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；
    采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；
    将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集；
    将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
  15. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述活体检测分类模型的训练过程时，具体包括：
    获取第一样本集和第二样本集，其中，所述第一样本集中包含有预设第一数量的活体对象及每个活体对象对应的第一样本图像，所述第二样本集中包含有预设第二数量的非活体对象及每个非活体对象对应的第二样本图像，其中，所述预设第一数量和预设第二数量之间的差值小于预设的偏差阈值；
    将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集；
    将所述训练集输入预设神经网络中进行训练，得到活体检测分类模型；
    将所述测试集输入至所述活体检测分类模型中进行测试，并计算测试通过率；
    若所述测试通过率大于或者等于预设通过率阈值，确定所述活体检测分类模型训练结束；若所述测试通过率小于预设通过率阈值，增加训练集的数量，重新进行活体检测分类模型的训练。
  16. 如权利要求15所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集时，具体包括：
    提取每个所述活体对象的每张第一样本图像的第一RGB图像、第一IR图像和第一深度图像，及提取每个所述非活体对象的每张第二样本图像的第二RGB图像、第二IR图像和第二深度图像；
    按照图像采集的时间先后顺序对每一帧第一RGB图像、第一IR图像和第一深度图像进行配对，得到每一帧第一模态图像，及按照图像采集的时间先后顺序对每一帧第二RGB图像、第二IR图像和第二深度图像进行配对，得到每一帧第二模态图像；
    采用光流法提取所述每一帧第一RGB图像的第一光流特征图像，及采用光流法提取所述每一帧第二RGB图像的第二光流特征图像；
    将每一帧第一模态图像与对应帧的第一光流特征图像进行组合，得到每一帧第一目标图像，及将每一帧第二模态图像与对应帧的第二光流特征图像进行组合，得到每一帧第二目标图像；
    提取所述每一帧第一目标图像中的多模态第一特征集，及提取所述每一帧第二目标图像中的多模态第二特征集；
    将多帧多模态第一特征集和多帧多模态第二特征集按照预设的划分规则划分出训练集和测试集。
  17. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列时，具体包括：
    将所述RGB图像序列中每一帧RGB图像转化为YCbCr图像；
    分别对所述YCbCr图像中的各个分量进行归一化处理，得到归一化后的各个分量图像；
    根据所述RGB图像序列中每一帧RGB图像对应的插值曲线对归一化后的各个分量图像进行亮度调整，得到调整后的各个分量图像；
    将调整后的各个分量图像进行叠加以得到处理后的YCbCr图像，并将处理后的YCbCr图像转化为RGB图像，得到目标RGB图像序列。
  18. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像时，具体包括：
    对所述RGB图像序列中的每相邻两帧RGB图像进行光流计算，获取每一帧RGB图像的每个像素的位移矢量，并根据所述每一帧RGB图像的每个像素的位移矢量生成对应帧的光流特征图像。
  19. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述提取所述每一帧目标图像中的多模态特征集时，具体包括：
    提取所述每一帧目标图像中的RGB图像的第一空间特征，形成第一特征；
    提取所述每一帧目标图像中的IR图像的第二空间特征，形成第二特征；
    提取所述每一帧目标图像中的深度图像的第三空间特征，形成第三特征；
    提取所述每一帧目标图像中的光流特征图像的时序特征，形成第四特征；
    将所述第一特征、所述第二特征、所述第三特征和所述第四特征进行合并，确定为每一帧的多模态特征集。
  20. 一种基于多模态的活体检测装置，其中，所述装置包括：
    采集模块，用于采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；
    预处理模块，用于对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；
    配对模块，用于按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；
    提取模块，用于采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；
    组合模块，用于将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集；
    输入模块，用于将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。
PCT/CN2022/071322 2021-06-30 2022-01-11 基于多模态的活体检测方法、装置、电子设备及存储介质 WO2023273297A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110735343.2 2021-06-30
CN202110735343.2A CN113435353A (zh) 2021-06-30 2021-06-30 基于多模态的活体检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2023273297A1 true WO2023273297A1 (zh) 2023-01-05

Family

ID=77758220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/071322 WO2023273297A1 (zh) 2021-06-30 2022-01-11 基于多模态的活体检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113435353A (zh)
WO (1) WO2023273297A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435353A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 基于多模态的活体检测方法、装置、电子设备及存储介质
CN117011918B (zh) * 2023-08-08 2024-03-26 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991432A (zh) * 2020-03-03 2020-04-10 支付宝(杭州)信息技术有限公司 活体检测方法、装置、电子设备及系统
CN111597918A (zh) * 2020-04-26 2020-08-28 北京金山云网络技术有限公司 人脸活体检测模型的训练、检测方法、装置及电子设备
CN111666901A (zh) * 2020-06-09 2020-09-15 创新奇智(北京)科技有限公司 一种活体人脸检测方法、装置、电子设备及存储介质
CN112883940A (zh) * 2021-04-13 2021-06-01 深圳市赛为智能股份有限公司 静默活体检测方法、装置、计算机设备及存储介质
WO2021112849A1 (en) * 2019-12-05 2021-06-10 Aware, Inc. Improved face liveness detection using background/foreground motion analysis
CN113052142A (zh) * 2021-04-26 2021-06-29 的卢技术有限公司 一种基于多模态数据的静默活体检测方法
CN113435353A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 基于多模态的活体检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598242B (zh) * 2018-12-06 2023-04-18 中科视拓（北京）科技有限公司 一种活体检测方法
US20210182584A1 (en) * 2019-12-17 2021-06-17 Daon Holdings Limited Methods and systems for displaying a visual aid and enhancing user liveness detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112849A1 (en) * 2019-12-05 2021-06-10 Aware, Inc. Improved face liveness detection using background/foreground motion analysis
CN110991432A (zh) * 2020-03-03 2020-04-10 支付宝(杭州)信息技术有限公司 活体检测方法、装置、电子设备及系统
CN111597918A (zh) * 2020-04-26 2020-08-28 北京金山云网络技术有限公司 人脸活体检测模型的训练、检测方法、装置及电子设备
CN111666901A (zh) * 2020-06-09 2020-09-15 创新奇智(北京)科技有限公司 一种活体人脸检测方法、装置、电子设备及存储介质
CN112883940A (zh) * 2021-04-13 2021-06-01 深圳市赛为智能股份有限公司 静默活体检测方法、装置、计算机设备及存储介质
CN113052142A (zh) * 2021-04-26 2021-06-29 的卢技术有限公司 一种基于多模态数据的静默活体检测方法
CN113435353A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 基于多模态的活体检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113435353A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
JP6799302B2 (ja) 全身測定値抽出のためのシステムおよび方法
US10991094B2 (en) Method of analyzing dental image for correction diagnosis and apparatus using the same
WO2023273297A1 (zh) 基于多模态的活体检测方法、装置、电子设备及存储介质
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
WO2020048140A1 (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
US20170061608A1 (en) Cloud-based pathological analysis system and method
CN106778453B (zh) 人脸图像中检测眼镜佩戴的方法及装置
WO2022247005A1 (zh) 图像中目标物识别方法、装置、电子设备及存储介质
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
WO2021151313A1 (zh) 证件鉴伪方法、装置、电子设备及存储介质
WO2021151277A1 (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
US11023714B2 (en) Suspiciousness degree estimation model generation device
CN107316029A (zh) 一种活体验证方法及设备
WO2023134071A1 (zh) 行人重识别方法、装置、电子设备及存储介质
Alvino et al. Computerized measurement of facial expression of emotions in schizophrenia
US10984281B2 (en) System and method for correcting color of digital image based on the human sclera and pupil
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
EP3699808B1 (en) Facial image detection method and terminal device
JP2014128003A (ja) 画像認識装置、その制御方法及びプログラム
WO2022242392A1 (zh) 血管图像分类处理方法、装置、设备及存储介质
CN113990482A (zh) 健康数据处理系统及方法
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
WO2020194378A1 (ja) 画像処理システム、画像処理装置、画像処理方法、及びコンピュータ可読媒体
Zhang et al. Critical element prediction of tracheal intubation difficulty: Automatic Mallampati classification by jointly using handcrafted and attention-based deep features

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE